推理仅 29.6 ms
通过知识蒸馏获得,无需额外推理开销即可在资源受限设备上运行。
杨烜
Computers in Biology and Medicine 2024
蒸馏策略仅在训练阶段使用,分割部署时学生模型不增加任何计算负担。
主动探索与被动迁移策略鼓励学生模型学习教师未发现的知识或特征,从而在分割任务上超越教师模型。
学生通过模仿教师的自注意力类间特征变化,提高对不同类别的区分能力。