三方交互表示学习模型

多模态情感融合

非均匀注意力模块NUAM将声学与视觉信息融入文本模态，形成一个统一的鲁棒结构，提取情感特征。

Binqiang, Wang · 东钢 · Zhao, Yaqian · Li, Rengang · Yin, Wenfeng · Lihua, Lu

Expert Systems with Applications 2025

技术优势

增强文本模态主导性

利用文本模态的稳定性，通过非均匀注意力将声学和视觉信息浓缩到文本表示中，避免不同模态的冲突。

融入聚类质心重构损失

引入基于聚类质心的重构损失，捕获先前方法可能忽略的潜在数据结构，提升预测能力。

应用场景

• 情感计算：为情感计算提供融合三模态情感信息的鲁棒表示，提升识别准确性。
• 多模态人机交互：实时融合语音和视觉线索，增强人机交互中的情感理解能力。
• 舆情分析：从多模态数据中捕获情感倾向，辅助舆情分析中的观点挖掘。
• 智能客服：融合用户语音和表情，提升客服系统对用户情感状态的感知。