免标签补全模态
无需下游任务标签即可重建缺失模态特征,通过跨结构跨视图对比学习获得话语通用表征,可直接适配任意模态缺失对话理解任务。
Sichao, Fu · Songren, Peng · 邹斌 · 荆晓远 · 虞为 · 彭勤牧 · 尤新革
Information Fusion 2026
通过无监督对比学习重建缺失模态,摆脱了下游任务标签的限制,适用于任意M2CU任务。
缺失模态恢复模块增强不同话语间的信息交互,生成鲁棒的恢复特征,缓解了特定话语过度依赖问题。
多层图对比损失在跨结构和跨视图层面最大化同一对话表示间的互信息,学习到话语通用的对话表示。
在四个数据集、七种缺失率和两个M2CU任务上的大量实验表明,UMGCN优于现有不完整多模态学习方法。