选择理由蒸馏法

持续学习不遗忘

一种用于对话状态追踪的蒸馏方法，通过元推理能力增强小模型，使其能够持续学习新服务并保留已有知识，解决了灾难性遗忘和价值选择困境。

79963006 · Liu, Bo · Xiaoyu, Dong · Lu, Zexin · Zhan, Liming · Wu, Xiao-Ming · Lam, Albert Y.S.

2024

技术优势

破解价值选择困境

多值解析策略生成DST特定的选择链，语义对比推理选择方法抑制教师幻觉，使小模型可靠掌握从多候选中选值的元推理能力。

应用场景

• 对话系统：直接接入现有对话系统，使模型持续学习新领域技能而不遗忘旧知识。
• 任务型机器人：为任务型机器人提供可增量更新的状态追踪器，适应不断扩展的服务场景。
• 智能客服：让智能客服模型按需增加业务领域，避免重新训练和维护多套模型。