互惠师生知识蒸馏

通过构造新的加权约束感知学生理解程度,使预训练教师模型能接收反馈并调整教学策略,从而提升知识蒸馏效果。

Jianping, Gou · Yu, Chen · Yu, Baosheng · Jinhua, Liu · Du, Lan · 万少华 · Yi, Zhang

IEEE Transactions on Multimedia 2024

技术优势

教师会调整教学

通过反馈知识蒸馏,教师模型能基于学生的理解反馈动态调整教学策略,从而更好地传授知识。

性能全面领先

在五个视觉识别数据集上均超越当前最先进的知识蒸馏方法,证明了方法的通用性与有效性。

应用场景