视听特征解耦融合网络

通过共享与私有编码器解耦模态信息，并利用加法与拼接融合策略聚合信息，有效缓解多模态数据的语义鸿沟与冗余。

Shihao, Li · 邵珠宏 · Qin, Rongyin · Huang, Yongzhen · 梁佩鹏 · Li, Xiaobai · 姜忆南 · Deng, Yanhe · 刘铁 · 谭小慧

IEEE Transactions on Affective Computing 2025

参数信息

平均绝对误差

6.22

均方根误差

7.58

技术优势

各有分工

共享编码器提取模态间一致信息，私有编码器保留各模态独有特征，并通过相似与独立约束使两者各司其职。

信息不丢

解码器对单模态表征进行重构，并通过最小化信息损失约束保证特征完整性。

融合简单有效

采用加法与拼接的融合策略聚合多模态信息，在四个基准数据集上取得当前最优效果。

应用场景

• 心理健康筛查：替代主观量表，通过音视频自动评估抑郁严重程度，辅助早期筛查。
• 多模态情感识别：利用解耦表征融合提升多模态情感识别鲁棒性。
• 人机交互：赋能系统感知用户情感状态，实现更自然的交互。