模态感知融合网络

对齐与失衡联合化解

通过双级对齐与模态自适应重初始化，在不破坏原始学习动态的前提下同时缓解分布差异与表征失衡，提升多模态融合的一致性。

Cheng, Cheng · Liu, Wenzhe · Ruisi, Shang · Yikang, Cheng · Jia, Ziyu

Information Fusion 2026

技术优势

两个问题一起解决

同时缓解分布差异和表征失衡，弥补了现有方法只处理单一问题的不足。

不破坏模型学习

通过自适应重初始化动态调整各模态编码器参数，无需抑制强模态，避免造成模型性能下降。

应用场景

• 多模态情感计算：跨模态语义对齐准确，融合质量高，使情感状态识别更可靠。
• 情感识别系统：在DEAP、SEED-IV、SEED-V数据集上优于现有方法，可直接用于提升识别系统准确率。
• 生理信号融合分析：自适应重初始化强化弱模态表征，融合生理信号更稳定。
• 多模态感知物联网：框架通用可嵌入感知设备，平衡多模态数据差异。