多模态抗干扰
通过非对称融合增强与多频带去噪,抑制跨模态干扰和话语特定噪声,提升对话情感识别精度。
朱小飞 · Yang, Jiang · 刘小洋 · 张宜浩
Knowledge-Based Systems 2026
非对称融合增强机制轮流将每个模态作为主模态,其他模态作为辅助提供互补信息,从而降低跨模态干扰,提升各模态表征质量。
小波差分条件扩散模块将特征分解到不同频率子带,并构造差分表示,在保留细粒度情感线索的同时抑制话语特定噪声。
基于置信度的融合策略根据预测置信度整合非对称融合增强特征和多频带去噪特征,进一步提升了识别性能。