多模态融合抗干扰判别模型

丢模态不降判准

协同利用信号与运动学特征，在缺失部分模态下仍保持稳定判别性能。

Yongkang, Wang · 刘洁怡 · 公茂果 · 周宇 · 范晓龙 · 李好

IEEE Sensors Journal 2024

技术优势

丢模态也不怕

损失函数中加入约束条件使各特征向量高度相关，即使只面对单一模态判别效果依然良好。

学习跨模态联合表征

将信号模态的复杂包络特征与数据模态的运动学时间序列特征融合，协同处理跨模态信息，实现信息全方位利用。

自动调整模态依赖

模型对不同模态表现出鲁棒性，能根据情况自动调整对各模态的依赖程度，适应不同判别场景。

应用场景

• 无线通信安全：替换单模态抗干扰方案，在部分信号缺失时仍维持安全判别。
• 雷达干扰抑制：融合雷达信号与运动学特征，抑制欺骗干扰且对模态缺失鲁棒。
• 多模态感知：协同处理跨模态信息，学习联合表征提升感知系统判别力。