多模态交互图网络

三项任务同步最优

一个统一模型同时捕捉会话上下文、多模态交互和跨任务关联，摆脱以往单方面优化的局限。

张亚洲 · Ao, Jia · 王博 · 张鹏 · Zhao, Dongming · 李璞 · 侯越先 · Xiaojia, Jin · 宋大为 · Qin, Jing

ACM Transactions on Information Systems 2023

参数信息

情感分析准确率提升（MELD）

1.88 %

技术优势

三项任务同步训练

跨任务连接模块使情感分析和情感识别能相互利用共享知识，从而提升彼此的性能。

同时捕捉局部与全局上下文

局部-全局上下文连接模块同时建模局部和全局会话上下文，增强对话依赖的理解。

多模态信息互补

跨模态连接模块学习多模态互补信息，从而提升多模态场景下的性能。

跨任务性能同步提升

多任务联合学习范式相比单任务框架能同时提升情感分析与情感识别的效果。

应用场景

• 多模态情感计算：用于融合文本、语音和视觉信息，统一建模情感状态。
• 对话系统：用于提升对话系统对用户情感和情绪的感知与响应。
• 心理健康监测：用于从对话中识别情绪信号，辅助心理健康状态评估。
• 社交机器人：用于让机器人理解用户情感，实现共情式社交互动。
• 用户反馈分析：用于分析用户对话反馈中的情感倾向，洞察用户态度。