双流解缠Transformer
模态缺失也稳
从模态共有与特有双视角重建缺失特征，弥合模态分布差异，让多模态情绪识别在特征缺失时仍保持稳定。
Li, Chiqin · 解仑 · Xinheng, Wang · Pan, Hang · 王志良
Expert Systems with Applications 2025
参数信息
- CCC提升（完整模态，RECOLA）
- 0.0852
- CCC提升（完整模态，ULM-TSST）
- 0.0207
- CCC提升（模态缺失，RECOLA）
- 0.0692
- CCC提升（模态缺失，ULM-TSST）
- 0.0347
技术优势
跨分布重建
通过解缠学习将特征分为模态共有和特有部分，重建缺失特征时能弥合模态分布差异，而非简单拼接。
缺失更稳
在两个数据集上，模态缺失场景下的CCC提升高于完整模态场景，证明模型更能适应现实中的特征缺失。
应用场景
- 多模态人机交互：在用户交互中应对模态干扰或缺失，保持情感识别稳定。
- 情感计算：提升情感计算系统在非理想多模态输入下的可靠性。
- 鲁棒多模态融合：提供解缠与重建机制，缓解模态分布差异对融合的影响。
- 情感识别：在特征缺失时仍能准确识别效价和唤醒。