多模态讽刺检测网络

双重上下文学习

该网络通过关系上下文学习和多重特征融合,动态建模文本与图像间的讽刺语义,提升跨情境的泛化能力。

Tongguan, Wang · Junkai, Li · 苏桂新 · Yongcheng, Zhang · Dongyu, Su · Yuxue, Hu · 沙灜

Knowledge-Based Systems 2025

技术优势

挖掘被忽视特征

使用四个特征提取器从原始文本和图像中全面提取特征,捕获先前可能被忽略的潜在信息,为下游关系学习提供更丰富的输入。

捕获动态关系上下文

通过浅层和深层交互学习文本与图像间的关系上下文,从而捕捉讽刺含义随语境变化的动态特性,更准确地建模讽刺。

提升模型泛化能力

通过多重特征融合模块有效整合来自不同交互上下文的多模态特征,使模型在不同语境下都能保持稳定表现。

达到最先进性能

在两个多模态讽刺检测数据集上取得了当前最佳结果,证明了所提方法的有效性和优越性。

应用场景