多模态混合网络

缺失模态也稳健

将混合增强与对比学习结合，让多模态系统在模态缺失时仍能保持可靠的表征能力。

Lin, Ronghao · 胡海峰

Information Fusion 2024

技术优势

模态缺失也能用

通过 mixup 策略在适应和探索步骤混合不同模态，缩小单模态与多模态表征之间的信息差距。

各种模态学习场景都能用

采用通用的多模态学习方案，可迁移到监督、无监督、强化学习等场景。

对比学习更稳定

将 mixup 扩展到对比学习损失函数中，提升混合视图与原始视图的对齐效果。

应用场景

• 多模态感知：处理真实世界中模态缺失或不完整的感知数据，提升系统可靠性。
• 鲁棒表征学习：学习对模态缺失鲁棒的表征，供下游任务使用。
• 传感器融合：在传感器数据不完整时仍能有效融合信息。
• 多模态数据分析：分析含缺失模态的多模态数据，保持分析结果稳定。