标签引导多模态情感模型

利用标签嵌入定位与特定情绪最相关的语音帧和文本词,并引导注意融合,提升多模态情感识别的判别力。

Peiying, Wang · Sunlu, Zeng · Junqing, Chen · Lu, Fan · Chen, Meng · Wu, Youzheng · He, Xiaodong

2023

参数信息

识别准确率
71.3 %

技术优势

定位最相关帧与词

通过学习标签与文本/语音的交互,模型能准确定位与特定情感最相关的帧和词,提高判别力。

融合更有效

提出的标签引导注意融合模块能联合建模标签感知的文本与语音表示,优于简单拼接或常规注意力融合。

新的最优性能

在 IEMOCAP 上超过现有基线并取得新的最优结果,证明方法的有效性。

应用场景