像素蒸馏网络

输入级压缩无损

一种跨图像尺寸与异构架构的知识蒸馏方案，通过输入空间表征蒸馏实现CNN与ViT间的稳定知识迁移，并借助师生助教框架显著降低蒸馏复杂度。

Guo, Guangyu · 张鼎文 · Longfei, Han · Liu, Nian · 程明明 · Junwei, Han

IEEE Transactions on Pattern Analysis and Machine Intelligence 2024

参数信息

图像分类精度

1.2 %

目标检测精度

49.1 AP

技术优势

CNN和ViT互相教

该方法能促进CNN与ViT之间的稳定知识迁移，让不同架构的师生组合也能有效蒸馏。

检测也能用

通过特征对齐保持策略，像素蒸馏可适配目标检测任务，对齐不同阶段检测器输出维度。

应用场景

• 边缘设备模型部署：边缘设备可以按需调整输入分辨率来平衡精度和算力
• 机器人视觉识别：机器人可以降低输入分辨率做实时识别，节省带宽和能耗
• 物联网设备低带宽视觉：在低带宽链路上传输压缩图像，蒸馏保证识别性能
• 无人机目标检测：无人机在低分辨率下仍能检测目标并节省链路带宽