双师自蒸馏网络

轻量高效

历史教师与结构教师协同互补，为轻量多分支网络提供自监督，在小数据集上显著超越现有自蒸馏方法。

Li, Zheng · Li, Xiang · Yang, Lingfeng · Song, Renjie · 杨俭 · 潘志庚

Pattern Recognition 2024

技术优势

两种教师互补

历史教师记录过去的学习状态，结构教师反映当前网络结构，两者从不同角度提供监督，互相补充。

首次联合蒸馏

首次在统一框架中同时进行历史与结构自蒸馏，避免分别设计的复杂性，从而提升蒸馏效果。

多分支轻量化

网络采用轻量的多分支结构，每个分支都接收监督，在保持低计算成本的同时提升整体精度。

应用场景

• 轻量级神经网络：用双教师自蒸馏提升轻量模型精度，无需额外标注数据。
• 边缘端智能设备：轻量多分支网络降低算力需求，适合部署在边缘设备上。
• 高效模型部署：无需复杂教师模型，直接训练轻量网络即可高效部署。
• 具身智能模型压缩：自蒸馏框架可压缩具身智能模型，降低计算和存储开销。