多模态不确定性学习网络

通过同时建模模态内和模态间的不确定性，增强多模态假新闻检测的鲁棒性。

Wei, Lingwei · Hu, Dou · 周薇 · 虎嵩林

IEEE Transactions on Multimedia 2023

参数信息

基准数据集数量

2

技术优势

抗模态内噪声

通过变分方式对特征正则化，抑制模态内部的数据不确定性。

按置信度融合

变分注意力融合根据模态相对置信度分配权重，利用互补特性。

应用场景

• 多模态内容理解：从多模态内容中提取噪声鲁棒的特征表示，供检测模型使用。
• 信息真实性验证：检测多模态新闻的真伪，辅助内容审核。
• 社交媒体分析：分析社交媒体上多模态帖子的可信度。