类别混淆少 精度高
用温度刺激将logits解耦为相似类与非相似类,从机制上缓解类别混淆,且可即插即用地嵌入现有蒸馏方法。
Yiqin, Wang · 陈莹
Advanced Engineering Informatics 2026
通过温度刺激重新解耦 logits 为相似类与不相似类,分别进行蒸馏,从而缓解相似类间的混淆。
该方法可嵌入现有先进蒸馏方法,在无需整体改动的情况下进一步提升性能。
给出了严格的数学分析,从理论上证明了温度刺激下类别解耦的合理性。