对比自监督VQA模型

抗语言偏差

该方案通过对比学习与自监督辅助任务克服语言先验，显著增强视觉问答模型在分布外场景下的鲁棒性。

Runlin, Cao · 李志欣 · Tang, Zhen Jun · Canlong, Zhang · 马慧芳

Pattern Recognition 2025

参数信息

VQA-CP v2 精度

62.30 %

技术优势

消除语言偏差

通过对比学习和自监督辅助任务平衡有偏数据，使模型不过度依赖语言先验。

无需额外标注

训练过程中不需要任何额外的人工标注，降低了数据准备成本。

兼容多种骨干

可应用于不同的 VQA 骨干网络，便于集成到现有系统中。

应用场景

• 多模态推理：提升模型在真实场景下对视觉与语言联合推理的准确性。
• 具身视觉问答：使具身智能体在不同环境中更可靠地理解视觉问题。
• 人机交互：增强交互系统对用户多样化提问的鲁棒性。
• 视觉问答系统：作为核心模块提升 VQA 系统的泛化能力。