对比置信度正则器

抗假阴性鲁棒检索

通过在NCE损失中加入对比置信度正则项，使密集检索模型对训练数据中的假阴性标注更具鲁棒性。

Shiqi, Wang · Yeqin, Zhang · Nguyen, Camtu

2024

技术优势

不怕假阴性

正则项基于理论保证，使模型在训练数据存在假阴性时仍能保持稳定的对比学习。

无需改模型

提出的噪声负样本过滤方法不依赖特定模型，可应用于任何下游密集检索模型并提升其性能。

超越现有最佳

在三个数据集上的实验表明，该方法比现有最佳密集检索系统取得更好的检索性能。

应用场景

• 开放域问答：提升开放域问答的检索质量，减少因假阴性导致的相关段落遗漏。
• 信息检索：为信息检索系统提供更鲁棒的训练策略，无需改变模型架构即可提升检索性能。
• 搜索引擎：帮助搜索引擎在存在噪声标注的情况下训练更准确的密集检索模型。