语言引导蒸馏预训练

轻量模型全面突破

在蒸馏过程中引入类别名称的语义指导，使小模型学到的表示对下游任务更具判别性。

Mingsheng, Li · Lin, Zhang · Zhu, Mingzhen · Huang, Zilong · Yu, Gang · 樊嘉院 · 陈涛

IEEE Transactions on Multimedia 2024

技术优势

表示更判别

引入类别名称的语义指导，蒸馏时聚焦下游任务所需的判别性知识，使小模型在下游任务上表现更好。

全面超越基线

在分类、检测、分割多个下游任务上，所得轻量模型性能优于 ImageNet 预训练和现有自监督蒸馏方法。

代码可用

代码已开源，便于复现和应用于实际项目。

应用场景

• 轻量级模型压缩：用语言引导蒸馏高效压缩模型，保持判别性同时降低部署资源需求。
• 移动端视觉应用：小模型预训练后可在移动设备上运行，无需大算力即可获得高性能视觉识别。
• 具身智能中的高效感知：轻量模型可部署于具身智能体，实时高效处理视觉感知任务。