多模态情绪识别网络

均衡模态收敛

通过奖励梯度调制与LoRA结合，解决了多模态融合中文本模态优化受抑的问题，实现均衡训练。

刘峰 · Fu, Ziwang · Yunlong, Wang

IEEE Transactions on Computational Social Systems 2025

技术优势

文本不再被压制

引入LoRA缓解文本模态优化被抑制的问题，确保文本模态在融合中充分发挥作用。

融合更均衡

通过奖励梯度调制调节各模态收敛速度，实现均衡融合过程，避免单一模态主导。

首创LoRA优化证据

首次提供LoRA在多模态优化中有效性的证据，证明其可解决文本优化难题。

应用场景

• 情感计算：提供均衡融合的情绪识别模型，可直接用于情感计算任务。
• 人机交互：多模态情绪识别使机器人更准确理解用户情感，提升交互体验。
• 多模态感知：均衡融合多种模态信息，增强系统对复杂场景的感知能力。
• 生理信号分析：多模态融合方法可用于整合生理信号，提高情感状态分析的准确性。