检索增强CLIP模型

零样本分类提12.7%

引入在线检索，让模型在推理时动态参考外部图文对，无需记忆所有视觉概念。

Chen-Wei, Xie · Sun, Siyang · Xiong, Xiong · Zheng, Yun · Zhao, Deli · 周靖人

2023

参数信息

零样本图像分类提升

+12.7 %

线性探测图像分类提升

+6.9 %

零样本ROI分类提升

+2.8 %

技术优势

省数据还能涨点

把参考集当开卷考试的“小抄”，利用图文对应关系识别视觉概念，不用把训练数据里的所有概念都存进模型参数。

零样本分类明显提升

在10个图像分类数据集上，零样本分类平均比vanilla CLIP高12.7%，直接增强模型在未见过类别上的泛化。

应用场景

• 视觉语言预训练：降低预训练数据需求，同时保持零样本迁移能力。
• 零样本图像分类：开卷式检索替代死记硬背，直接提升未见类别准确率。
• 目标检测：零样本ROI分类提升2.8%，可辅助检测器识别新物体。
• 跨模态检索：在线检索机制天然契合图文互搜，提高跨模态匹配鲁棒性。