多模态假新闻检测框架

融合大小模型专家

该框架通过大小模型专家协同,同时捕获细粒度局部伪造和全局上下文伪造,并在推理中自适应抑制幻觉与冗余噪声。

Xun, Li · Bin, Zhou · 王李冬 · 张寅 · Haoyang, Xu · Yuan, Jie

Information Sciences 2027

参数信息

准确率
0.952
准确率
0.817

技术优势

细粒度伪造抓得住

通过渐进式注意力路由的专家混合架构进行token级多模态特征提取,能够定位局部伪造痕迹。

抑制幻觉和噪声

LLM-Judge专家和LLM增强的信息有用性评估器动态调整生成内容的权重,减少上下文歧义和生成噪声的影响。

全局语义做增强

引入背景知识和图像语义描述,为模型提供额外的全局上下文信息,弥补局部特征的不足。

应用场景