多模态不一致语义检测模型

可解释假新闻检测

能够捕获多模态内容中的不一致语义,并通过推理层提供可解释的证据,帮助用户识别假新闻。

吴连伟 · Yuzhou, Long · 高超 · 王震 · Yanning, Zhang

Information Fusion 2023

参数信息

性能提升
2.8 %

技术优势

抓矛盾

同时从文本和视觉两个视角挖掘局部不一致语义,再融合成全局不一致表示,相比传统融合更能发现矛盾。

有解释

通过推理层为不一致语义补充上下文信息,生成可理解的证据,用户能知道为什么判为假新闻。

提精度

在三个公开数据集上验证,性能最多提升2.8%。

应用场景