多模态融合网络

抗攻击鲁棒

引入攻击感知融合模块与去噪自编码器，动态抑制扰动，提升对抗条件下的任务表现。

Dong, Yu · 张淳杰 · 张晓宇 · 张高鹏 · 赵耀

Machine Intelligence Research 2026

技术优势

动态抑制攻击模态

攻击感知融合模块实时估计各模态的扰动水平，并据此调整融合权重，降低不可靠输入的贡献。

特征提取自带降噪

预训练去噪自编码器在特征提取阶段抑制输入噪声，生成更清晰、更鲁棒的表征。

训练阶段对抗强化

训练过程中引入对抗训练，进一步提升模型对多种攻击类型的抵抗力。

应用场景

• 鲁棒多模态感知：在对抗条件下维持多模态感知的准确性，用于自动驾驶等安全关键场景。
• 对抗攻击防御：提供端到端的对抗防御方案，降低系统被对抗样本欺骗的风险。
• 安全人机交互：确保机器人在对抗干扰下仍能正确感知人类意图，避免交互事故。
• 边缘智能感知：模型可在边缘设备上部署，为资源受限环境提供抗攻击的感知能力。