解耦多模态检测模型

知识增强一致性学习

利用解耦表示与外部知识图注入常识推理，提升对图文不一致虚假信息的判别能力。

Zhengyang, Liu · Jianqi, Gao · Yusheng, Liao · 骆祥峰

Information Fusion 2026

参数信息

检测基准数量

3

技术优势

捕捉常识矛盾

文本场景图链接外部知识图，获得知识增强的特征，与原始文本特征的偏差能够识别出常识性违背。

分离共享与私有表示

解耦损失显式分离共享和私有表示，消除语义无关但视觉相似的干扰，使模型关注真正跨模态一致的内容。

应用场景

• 虚假信息检测：自动识别图文内容中的不实信息，辅助人工审核，遏制虚假信息传播。
• 多模态内容安全：检测图文不匹配的恶意内容，防范利用视觉相似性进行的误导攻击。
• 跨模态推理：将外部知识融入跨模态对齐，提升对常识性矛盾的推理判断能力。