抗文本噪声重排序
通过最小化噪声文本与原始干净文本之间的距离来训练,De-Ranker在合成和自然文本噪声上均优于普通BERT重排序器。
陈轩昂 · 何苯 · Hui, Kai · Le, Sun · 孙应飞
Information Processing and Management 2023
在十种合成噪声上,De-Ranker仍能保持高排序质量,避免普通BERT重排序器出现的显著退化。
在18个IR数据集上零样本迁移,De-Ranker平均提升1.32%,证明它能处理真实文本中的自然噪声并具备跨领域泛化能力。
De-Ranker训练完成后可直接替换现有BERT重排序器,无需修改检索流程。