梯度不敏感缓解
一种新型知识蒸馏方法，利用教师置信度调整学生梯度，解决现有方法中梯度不敏感问题，在异构师生场景下性能优越。
Si, Nianwen · Hao, Zhang · 张文林 · 张卫强 · Chang, Heyu · Qu, Dan
Neural Networks 2026
方法结合教师置信度调整学生logits的梯度，对非目标类赋予更高权重，使学习过程更细致地捕捉教师知识。
在教师与学生架构不同的情况下，本方法依然保持优势，这在实际部署中非常实用。
可以作为插件与许多现有logits蒸馏方法结合，无需改变原有流程即可提升性能。