身份模态融合网络

对话情感识别新SOTA

一个以说话人为中心构建图的融合网络,通过身份与模态属性嵌入和话语距离注意力,实现对话中更准确的情感识别。

石武祯 · Xuping, Chen · Biyun, Yao · Wen, Yang · Bin, Sheng

IEEE Transactions on Multimedia 2025

技术优势

减少不同说话人干扰

仅连接同一说话人的节点,避免建模不同说话人之间高度不确定的情感关系。

融合更准的相关性

属性嵌入机制帮助网络正确计算节点间的相关性,提升多模态特征融合效果。

更关注邻近话语

话语距离注意力使融合网络更加关注时间上相邻的话语,因为情感相关性随时间衰减。

应用场景