利用标签嵌入定位与特定情绪最相关的语音帧和文本词,并引导注意融合,提升多模态情感识别的判别力。
Peiying, Wang · Sunlu, Zeng · Junqing, Chen · Lu, Fan · Chen, Meng · Wu, Youzheng · He, Xiaodong
2023
通过学习标签与文本/语音的交互,模型能准确定位与特定情感最相关的帧和词,提高判别力。
提出的标签引导注意融合模块能联合建模标签感知的文本与语音表示,优于简单拼接或常规注意力融合。
在 IEMOCAP 上超过现有基线并取得新的最优结果,证明方法的有效性。