对抗样本合成方法

缓解语言先验

一种对抗性样本合成方法，能显著提升VQA模型的泛化性能。

Li, Chuanhao · Jing, Chenchen · Zhen, Li · 武玉伟 · 贾云得

ACM Transactions on Multimedia Computing, Communications and Applications 2024

参数信息

准确率提升

16.22 %

技术优势

随训练动态调整

对抗样本合成与VQA模型的训练过程耦合，确保不同训练阶段生成的样本都对模型有益。

显著提升准确率

在VQA-CP v2数据集上，LXMERT模型的整体准确率提升16.22%。

应用场景

• 视觉问答：缓解VQA模型的语言先验问题，提升跨分布泛化能力。
• 多模态学习：在训练中动态平衡多模态数据，强化视觉与语言的对齐。
• 鲁棒性增强：对抗扰动生成的样本增强模型对语言偏差的鲁棒性。