多模态SOTA精度
一种基于MLP-Mixer的模型,通过极性向量与强度向量分别建模情感倾向与强度,实现文本、音频和视觉模态之间的高效通信,在CMU-MOSEI上达到SOTA。
Han, Lin · Pinglu, Zhang · Ling, Jiading · 杨振国 · Lee, Lap Kei · 刘文印
Information Processing and Management 2023
设计极性向量(PV)与强度向量(SV)分别判断情感倾向与强度,避免混淆不同维度导致判断偏差。
提出 MLP-Communication 模块,使不同模态特征在水平和垂直方向上充分交互,是用 MLP 进行多模态信息通信的新尝试。
PS-Mixer 在公开数据集 CMU-MOSEI 上的性能优于对比方法,达到最先进水平。