多模态情感分析框架

准确率超基线1.8%

以文本模态为核心的多模态特征融合框架，通过注意力机制增强模态间情感关联，并利用扩展情感词典细化特征表示，在基准数据集上取得领先准确率。

Zijun, Liu · 蔡莉 · Wenjie, Yang · 刘俊晖

Pattern Recognition 2024

参数信息

准确率（CMU-MOSI）

85.7 %

技术优势

准确率更高

在两个公开基准数据集上均超过现有基线方法，验证了框架的有效性。

文本引导融合

以文本模态为中心，通过注意力机制增强与音频、视觉模态的情感关联，弥补单一模态信息不足。

词典扩展增强表示

引入扩展情感词典细化多模态特征，更准确地捕捉情感信息。

应用场景

• 情感计算：提供更高精度的多模态情感识别方法，提升情感计算系统性能。
• 社交机器人：帮助机器人更准确理解人类情感，改善人机交互体验。
• 智能客服：更精准识别客户情感，辅助客服系统做出恰当响应。
• 可穿戴设备：融合多模态数据实时分析用户情感状态，提升可穿戴设备用户体验。