跨模态无形后门

首个统一框架

首个专为跨模态攻击设计的不可见后门框架，通过模态不变区域注入触发器，适应多种图像-文本模型。

张正 · Xu, Yuan · 朱磊 · Song J. · 聂礼强

IEEE Transactions on Image Processing 2024

技术优势

攻击更隐蔽

通过模态特定生成器将触发器隐藏在模态不变区域，生成的投毒样本具有高隐蔽性。

能同时攻击多种任务

在跨模态检索和 VQA 两个典型应用上都展示了有效性，框架可适应不同图像-文本模型。

防御难以检测

实验表明 BadCM 能鲁棒地规避现有后门防御机制。

应用场景

• 跨模态检索：可测试检索系统在隐蔽后门攻击下的脆弱性，评估安全性。
• 视觉问答：用于评估 VQA 模型对隐蔽投毒样本的鲁棒性。
• 多模态安全：为多模态系统提供不可见攻击的基准测试手段。