通过构造新的加权约束感知学生理解程度,使预训练教师模型能接收反馈并调整教学策略,从而提升知识蒸馏效果。
Jianping, Gou · Yu, Chen · Yu, Baosheng · Jinhua, Liu · Du, Lan · 万少华 · Yi, Zhang
IEEE Transactions on Multimedia 2024
通过反馈知识蒸馏,教师模型能基于学生的理解反馈动态调整教学策略,从而更好地传授知识。
在五个视觉识别数据集上均超越当前最先进的知识蒸馏方法,证明了方法的通用性与有效性。