会话式问答生成检索模型

内存占1/10

无需向量索引,逐token生成段落标识符,在解码每一步关注对话上下文关键token,缓解嵌入瓶颈问题。

Li, Yongqi · Yang, Nan · Liang, Wang · Wei, Furu · Li, Wenjie

Information Processing and Management 2023

参数信息

段落检索相对提升
13.6 %
文档检索相对提升
42.9 %
内存占用比例
1/10
推理时间比例
33 %

技术优势

不用向量索引

通过逐 token 生成段落标识符,直接端到端检索,无需存储大规模向量索引,从而大幅减少内存开销。

检索更准

在解码的每一步都能关注对话上下文中的关键 token,缓解了嵌入瓶颈和点积交互的局限,带来检索精度的显著提升。

跑得更快

推理时间不到现有方法的 33%,适合实时对话场景。

应用场景