联合场景文本后门攻击

双模态触发才生效

通过在3D场景和文本中植入触发器，仅当两者同时出现时才激活恶意行为，从而控制模型的预测输出。

Liu, Daizong · 胡薇

IEEE Transactions on Multimedia 2025

技术优势

双模态触发才生效

JSTBA 在3D场景和文本两种模态中各植入一个触发器，只有当两个触发器同时出现时才激活恶意行为，从而在保持干净数据上性能的同时增强攻击的隐蔽性。

触发器放置自然隐蔽

通过视觉触发器优化策略，将视觉触发器放置在3D场景中合适的位置，使其看起来自然且不易察觉，从而降低被检测到的风险。

应用场景

• 3D场景理解：为3D场景理解模型的后门漏洞提供攻击测试，验证其在实际应用中的鲁棒性。
• 深度学习模型安全评估：作为一种新型后门攻击，用于评估深度学习模型在面对隐蔽数据投毒时的安全性。
• 多模态系统安全：利用多模态触发机制，揭示多模态系统在同时接收恶意输入时的脆弱性。
• 对抗样本检测：通过优化触发器使其自然隐蔽，可用于检验对抗样本检测方法的有效性。