跨模态层次融合网络

三模态融合降噪

利用多任务学习同时优化单模态、双模态和三模态特征表示，在融合过程中抑制噪声，提升情感识别精度。

Wang, Lan · 彭俊杰 · Cangzhi, Zheng · Tong, Zhao · Li'an, Zhu

Information Processing and Management 2024

技术优势

融合更干净

模型利用单模态、双模态和三模态任务共同优化特征表示，有效抑制融合过程中的噪声，提升情感分类的准确性。

跨语言通用

在中文数据集 CH-SIMS 和英文数据集 CMU-MOSI、CMU-MOSEI 上均取得良好效果，证明方法不依赖特定语言特征。

应用场景

• 情感计算：用更干净的三模态融合提升情感识别精度，为情感计算任务提供更可靠的特征表示。
• 多模态人机交互：在嘈杂交互环境中仍能稳健感知用户情感，适合作为人机对话系统的情绪理解模块。
• 社交媒体舆情分析：有效融合图文音视频多源信息，能从社交媒体帖子中更准确地判别公众情绪倾向。
• 心理状态监测：通过多模态信号综合推断个体情感状态，可辅助心理健康评估中情绪波动的动态监测。