内存占1/10
无需向量索引,逐token生成段落标识符,在解码每一步关注对话上下文关键token,缓解嵌入瓶颈问题。
Li, Yongqi · Yang, Nan · Liang, Wang · Wei, Furu · Li, Wenjie
Information Processing and Management 2023
通过逐 token 生成段落标识符,直接端到端检索,无需存储大规模向量索引,从而大幅减少内存开销。
在解码的每一步都能关注对话上下文中的关键 token,缓解了嵌入瓶颈和点积交互的局限,带来检索精度的显著提升。
推理时间不到现有方法的 33%,适合实时对话场景。