无监督多模态图补全网络

免标签补全模态

无需下游任务标签即可重建缺失模态特征,通过跨结构跨视图对比学习获得话语通用表征,可直接适配任意模态缺失对话理解任务。

Sichao, Fu · Songren, Peng · 邹斌 · 荆晓远 · 虞为 · 彭勤牧 · 尤新革

Information Fusion 2026

参数信息

数据集数量
4
缺失率种类
7
M2CU任务数
2

技术优势

无需标签

通过无监督对比学习重建缺失模态,摆脱了下游任务标签的限制,适用于任意M2CU任务。

避免话语过度依赖

缺失模态恢复模块增强不同话语间的信息交互,生成鲁棒的恢复特征,缓解了特定话语过度依赖问题。

跨结构跨视图对比

多层图对比损失在跨结构和跨视图层面最大化同一对话表示间的互信息,学习到话语通用的对话表示。

性能领先

在四个数据集、七种缺失率和两个M2CU任务上的大量实验表明,UMGCN优于现有不完整多模态学习方法。

应用场景