推理精度升8.39%
将学习目标从拟合人工标注转为从硬提示中蒸馏推理知识,用多个专业化短提示替代单一长提示,并通过动态选择与验证提高推理效率。
Ge, Teng · Shen, Chen · Wang, Wenxiao · Sinan, Fan · Xie, Liang · 田翔 · 陈朋 · 刘雪松 · 陈耀武 · Ye, Jieping
Neurocomputing 2026
通过从结构相似的硬提示中蒸馏推理知识,而非直接拟合人工标注,缓解了优化难度。
用多个专业化短提示替代单一长提示,并通过动态选择与验证提高推理效率。
在多个推理基准和LLM架构上,该方法比LoRA表现更好,同时所需参数少得多。