新物体字幕大幅领先
通过从基础模型提取相对相关性标签，实现区域与标签的对比对齐，提升多模态表示的判别力。
Jiashuo, Fan · Liang, Yaoyuan · Leyao, Liu · 黄绍伦 · Lei, Zhang
2023
利用 CLIP 等基础模型自动生成正负对并排序，得到相对相关性标签，减少了人工标注成本。
在两个数据集上均显著优于现有最佳方法，证明了模型的有效性。
对比学习目标使排名靠前的标签与图像文本上下文更兼容，增强了表示的判别能力。