去偏自适应VQA模型

测试时自适应

专门针对视觉问答任务设计的测试时自适应目标,通过去偏策略抑制数据偏差的负面影响,在分布偏移下实现更可靠的性能提升。

Wen, Zhiquan · Niu, Shuaicheng · Ge, Li · 吴庆耀 · 谭明奎 · Wu, Qi

IEEE Transactions on Multimedia 2023

技术优势

只适应无偏样本

通过为每个测试样本构造负样本,比较两者的输出答案来识别无偏样本,只对无偏样本做熵最小化,避免偏差样本的负面影响。

梯度更可靠

移除高预测熵的样本,避免噪声梯度对测试时适应的干扰,使更新方向更稳定。

不学偏差捷径

利用偏差样本及其负样本辅助适应,抑制模型过度拟合偏差模式,提高跨分布鲁棒性。

应用场景