分层知识蒸馏框架

单模态输入segmentation性能接近多模态

该框架通过蒸馏多模态融合与分割网络中的多层知识，使仅依赖单模态输入的模型在推理阶段也能获得接近多模态融合的性能，解决了实际场景中模态缺失或配准不准的问题。

Sun, Yujia · 董伟生 · Shuaibo, Wang · Wu, Peng · 冯明涛 · Li, Xin · 石光明

IEEE Transactions on Circuits and Systems for Video Technology 2025

技术优势

单模态可用

推理时只需单模态图像，无需多模态数据或配准，可直接部署在仅有可见光或红外相机的设备上。

性能追平多模态

通过分层蒸馏多模态教师网络的多层知识，学生模型在两个公开数据集上取得与多模态融合分割模型相当的结果。

两级蒸馏保知识

第一阶段构建强健的多模态融合分割交互网络作为教师，第二阶段设计分层蒸馏方法传递融合和分割的多层知识。

应用场景

• 具身智能：降本减重，不用加红外相机也能让机器人看懂复杂环境。
• 先进机器人：减少对多传感器严格配准的依赖，增强动态场景下的应用鲁棒性。
• 工业机器人：可在工业产线上仅部署可见光相机，降低设备复杂度和故障率。
• 无人机：减轻机载多模态配准压力，提高无人机在无红外条件下的感知能力。
• 生化传感：在生化样本成像中，可避免因多模态配准误差导致的诊断信息丢失。