轻量级高召回
两个对等双编码器在线互蒸馏，在不牺牲检索精度的情况下大幅降低模型体积与推理时间。
Jiali, Deng · Dongyang, Li · 张桃林 · He, Xiaofeng
Lecture Notes in Computer Science 2023
同时更新两个结构相同、初始化不同的对等双编码器，互相作为教师，蒸馏出的轻量级模型在多个QA基准上超过同层数小型基线。
与重型PLM相比，蒸馏后的轻量级检索器显著加速推理过程，同时降低存储需求。
通过在线互蒸馏，两个对等网络从零开始互相学习，无需预训练的大型教师模型，从而简化训练流程并降低资源门槛。