缺失模态下识别更准
将多模态融合补偿范式转变为缺失模态下的完成驱动识别,通过标签锚定的单模态知识补全变分自编码器实现跨模态知识迁移。
75945614 · 杨洋 · Shengjie, Zhang · 钱胜胜 · Xu, Yan · 蔡开泉
Advanced Engineering Informatics 2026
通过单模态知识补全变分自编码器,从单一模态生成类别判别性潜在变量,无需另一模态即可完成识别。
主题特定的标签嵌入作为轻量级类别锚点,无需大量标注数据即可引导潜在变量具有判别性。
对比学习语义对齐和分布对齐模块增强跨模态知识迁移,确保不同模态间表示一致,提升缺失模态下的鲁棒性。
在AirCrisisMMD和CrisisMMD数据集上,所提模型性能优于多个最先进基线,验证了框架的有效性。