PS-Mixer情感分析模型

多模态SOTA精度

一种基于MLP-Mixer的模型,通过极性向量与强度向量分别建模情感倾向与强度,实现文本、音频和视觉模态之间的高效通信,在CMU-MOSEI上达到SOTA。

Han, Lin · Pinglu, Zhang · Ling, Jiading · 杨振国 · Lee, Lap Kei · 刘文印

Information Processing and Management 2023

技术优势

分别判断极性与强度

设计极性向量(PV)与强度向量(SV)分别判断情感倾向与强度,避免混淆不同维度导致判断偏差。

用MLP进行跨模态通信

提出 MLP-Communication 模块,使不同模态特征在水平和垂直方向上充分交互,是用 MLP 进行多模态信息通信的新尝试。

在CMU-MOSEI上达到SOTA

PS-Mixer 在公开数据集 CMU-MOSEI 上的性能优于对比方法,达到最先进水平。

应用场景