净化提示框架

鲁棒性提升

一种多模态多层提示调优框架，通过特征级净化增强视觉语言模型的对抗鲁棒性。

张家铭 · Xin, Wang · Ma, Xingjun · Lingyu, Qiu · Jiang, Yugang · 桑基韬

IEEE Transactions on Pattern Analysis and Machine Intelligence 2026

参数信息

鲁棒精度提升

32.3 %

鲁棒精度提升

31.3 %

技术优势

强攻击下大提升

在具有挑战性的 AutoAttack 基准上比最强基线高出 32.3% 和 31.3%，同时保持干净的精度。

扩展提示维度

将可学习提示扩展到图像和文本两种模态以及多个网络层，覆盖更全面的扰动路径。

应用场景

• 多模态模型安全：作为即插即用防御，保护多模态系统免受对抗攻击。
• 对抗样本防御：在图像等模态中检测并纠正对抗扰动，提高模型鲁棒性。
• 视觉语言模型：增强 CLIP 等视觉语言模型在面对对抗攻击时的可靠性。