蒸馏提速十倍
一种在知识蒸馏过程中动态选择训练数据的策略，以仅10%的教师查询量取得与DistilBERT相当的性能。
Qinhong, Zhou · 李蓬 · 刘洋 · Guan, Yuyang · Xing, Qizhou · Ming, Chen · 孙茂松
AI Open 2023
通过自适应选择数据，仅需10%的教师查询量即可达到与DistilBERT相当的性能。
在多种任务和不同数据规模下均有效，解决了固定策略在不同场景下表现不一致的问题。
无需人工调参，框架自动适应任务、数据量和训练阶段选择最优数据选择策略。