文本中心解耦交互网络

三模态性能创新高

以文本模态为中心进行解耦与融合，充分利用模态间差异特征，在多模态情感分析任务上取得最优性能。

Jingming, Hou · Omar, N. · Tiun, Sabrina · Saad, Saidah · 何倩

Neurocomputing 2025

参数信息

F1分数提升（CMU-MOSI）

3.19 %

F1分数提升（CMU-MOSEI）

0.96 %

F1分数提升（CH-SIMS）

1.43 %

技术优势

文本主导解耦

以文本模态为中心将不同模态表示分解到子空间，捕捉模态间相似与不相似特征，从而突出文本作为语义主要载体的作用。

融合差异特征

专门设计解耦表示融合网络，以文本为中心融合解耦表示，充分挖掘模态间差异特征的相关性，而非仅依赖简单拼接。

三基准刷新SOTA

在CMU-MOSI、CMU-MOSEI和CH-SIMS数据集上超越现有最佳方法，F1分数分别提升3.19%、0.96%和1.43%。

应用场景

• 多模态情感识别：提升对视频、音频和文本结合场景的情感判断精度，替代简单拼接融合方法。
• 社交机器人情感交互：为机器人提供更准确的多模态情感理解，使其交互更自然流畅。
• 基于情感的脑机接口：融合多模态信号并突出文本特征，增强脑机接口中的情感识别鲁棒性。