知识蒸馏捆绑生成框架

小模型媲美大模型

从大语言模型渐进蒸馏知识，使轻量学生模型在捆绑生成任务上以极低推理开销逼近教师模型性能。

Kaidong, Feng · Sun, Zhu · Yang, Jie · 方慧 · Qu, Xinghua · 刘文远

ACM Transactions on Information Systems 2026

技术优势

三种知识形式蒸馏

从原始数据渐进提取频繁模式、形式化规则和深度思考，从不同层面捕捉教师知识。

多种利用方式互补

结合上下文学习和监督微调，充分利用蒸馏知识进行领域适配，提高学生模型效率。

真实数据集验证

在多个真实世界数据集上进行大量实验，表明知识形式、数量和利用方式共同影响性能。

应用场景

• 推荐系统：用轻量模型替代大模型做捆绑推荐，降低推理成本。
• 意图识别与建模工具：借助蒸馏的深度思考知识，更准确理解用户捆绑意图。
• 轻量化部署：将教师大模型能力压缩到学生模型，便于资源受限环境部署。
• 智能对话系统知识增强：利用蒸馏的规则与深度思考增强对话系统中的推荐决策。