拓扑与不协调联合感知
TCIP通过同时捕获多模态拓扑关系并感知跨模态不一致性，超越现有仅融合多模态信息的方法，更精准地识别图文讽刺表达。
Gao, Ling · Sheng, Nan · Liu, Yiming · 徐昊
Information Fusion 2025
同时建立文本单模图、视觉单模图和图文异构图，完整捕获文本内部、视觉内部及跨模态的拓扑结构，弥补仅融合嵌入向量而丢失关系信息的缺陷。
通过将分布一致的多模态嵌入拉近、不一致的推远，显式建模图文之间的不一致程度，为讽刺判别提供了直接依据，而非仅依赖融合后的隐式表示。
在讽刺检测基准和科学问答数据集上均达到顶尖性能，表明该网络在需要多模态关系推理的任务中具有泛化能力。