多模态互注意力情感分析框架

复杂语境抗歧义

在融合多模态数据的同时保留各模态独特语义，并通过互注意力挖掘模态间关联，从而在情感倾向不一致的复杂语境下依然做出准确判断。

Lijun, He · Ziqing, Wang · 汪烈军 · Fan, Li

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

复杂语境能抗歧义

保留各模态独特语义并挖掘其关联，避免因反讽和歧义造成误解。

融合考虑视点层级

多视角层级融合模块在融合过程中对不同模态进行相互约束，并调整融合顺序，增强跨模态互补性。

样本不均衡有对策

对正负样本施加不同权重来计算损失，从而平衡数据。

应用场景

• 社交舆情分析：从社交内容中更准捕捉大众情感倾向，尤其是在讽刺和歧义表达下。
• 多模态内容理解：融合声音、文本、视频等多模态信息，理解各模态间不一致的情感表达。
• 智能客服情感识别：让客服系统在用户表达含混时仍能识别真实情绪，减少服务失误。
• 用户评论情感分析：从带图带语音的评论中准确判断用户态度，避免被表面文字误导。