模型轻量化
通过非线性映射与对比学习，在保持精度的前提下显著压缩学生模型。
陈思 · Xueyan, Zhu · Yan, Yan · Zhu, S. Z. · 李绍滋 · 王大寒
IEEE Transactions on Circuits and Systems for Video Technology 2023
提出的ICKD方法使学生网络性能超过现有FAR方法。
非线性权重共享映射避免直接匹配师生特征，缓解学生网络表示能力不足的问题。
可调阶梯蒸馏损失在训练过程中自动调整不同蒸馏点的重要性。