无数据蒸馏框架

语义引导合成

利用生成特征域的语义描述引导增强策略，避免因语义质量不一致产生随机抽象输入，并引入对比学习促使学生网络学习域不变特征。

Zherui, Zhang · Xu, Rongtao · Wang, Changwei · Wenhao, Xu · Shunpeng, Chen · 徐士彪 · Xu, Guangyuan · 国联

IEEE Transactions on Circuits and Systems for Video Technology 2025

参数信息

上学生网络准确率

94.78 %

上学生网络准确率

76.42 %

上学生网络准确率

41.36 %

技术优势

防止过拟合语义模糊图像

通过指导学生在增强后的合成图像上深度模仿教师逐层隐式分类行为，学生不再死记噪声标签。

提升跨数据集迁移

通过在生成特征上施加对比学习对，限制特征域采样范围，促使学生学习域不变特征，迁移时更稳健。

应用场景

• 边缘智能：在边缘设备上用无数据压缩模型，不依赖云端原始训练集。
• 模型压缩：无需访问真实数据即可蒸馏，突破数据隐私限制。
• 机器人视觉：为机器人视觉模块提供轻量学生网络，省算力且高精度。
• 工业缺陷检测：在缺陷样本稀缺时，用生成特征增强训练，不依赖真实缺陷图。
• 资源受限部署：在无原始数据且算力受限的场景下，部署小体积学生网络。