场景图生成对抗攻击

攻击成功率显著提升

提出边界框重标记与两步加权攻击方法，解决攻击目标不一致问题并大幅提高攻击成功率。

赵梦楠 · 张立和 · 王伟 · 孔雨秋 · 尹宝才

IEEE Transactions on Information Forensics and Security 2024

技术优势

攻击目标更合理

通过边界框重标记解决指定边界框与攻击目标场景图之间的不一致问题，使攻击更有效。

攻击成功率提高

删除影响攻击性能的预测对象和关系三元组，两步加权攻击显著提升攻击成功率。

适用多种模型

攻击方法在五个主流场景图生成模型和四种对抗攻击上均验证有效。

应用场景

• 计算机视觉安全：评估场景图生成模型在恶意输入下的可靠性，发现安全漏洞。
• 视觉关系检测：揭示关系检测模型对对抗扰动的敏感性，指导鲁棒关系检测设计。
• 对抗性机器学习：提供场景图域对抗攻击新方法，作为防御研究的基准。
• 人工智能安全：推动对视觉语义理解系统安全性的测试与加固。