多模态融合新基准
针对多模态情感分析中的语义差距问题,提出一种引入外部情感知识、文本引导交互与动态特征加权的端到端融合网络,显著优于现有方法。
Zhu, Chuanbo · Chen, Min · Zhang, Sheng · Chao, Sun · Liang, Han · Yifan, Liu · 陈进才
Information Fusion 2023
通过外部知识库为文本模态获取额外情感表示,缓解了忽视词语情感语义的问题。
在CMU-MOSI、CMU-MOSEI和Twitter2019上均显著超越现有最优模型,泛化能力得到验证。
源代码已在GitHub公开,便于直接集成到现有情感分析管线或进行微调。