温度驱动类别解耦蒸馏

类别混淆少 精度高

用温度刺激将logits解耦为相似类与非相似类,从机制上缓解类别混淆,且可即插即用地嵌入现有蒸馏方法。

Yiqin, Wang · 陈莹

Advanced Engineering Informatics 2026

参数信息

平均分类精度提升
1.26 %
最大分类精度提升
3.51 %

技术优势

减少类别混淆

通过温度刺激重新解耦 logits 为相似类与不相似类,分别进行蒸馏,从而缓解相似类间的混淆。

即插即用

该方法可嵌入现有先进蒸馏方法,在无需整体改动的情况下进一步提升性能。

有理论保证

给出了严格的数学分析,从理论上证明了温度刺激下类别解耦的合理性。

应用场景