剪枝蒸馏热红外跟踪器

速度达58 FPS

从RGB模型蒸馏迁移知识,经剪枝压缩为轻量学生模型,在无标注的热红外域实现快速且更准的跟踪。

Hangfei, Li · 查宇飞 · Li, Huanyu · 张蓬 · 黄伟

Engineering Applications of Artificial Intelligence 2023

参数信息

成功率
58.6 %
精度
76.7 %
归一化精度
69.1 %
跟踪速度
58 FPS

技术优势

无需红外标注

通过输入成对的RGB和热红外图像,跨模态蒸馏将知识从RGB模态迁移到热红外模态,避免了热红外数据的标注负担。

速度更快

模型剪枝和多级深度特征匹配将特征提取器压缩为轻量模型,实现58 FPS的跟踪速度。

精度不降反升

相比基线RGB跟踪器,蒸馏后的热红外跟踪模型在LSOTB-TIR上成功率、精度和归一化精度分别提升1.5%、2.2%和1.9%。

应用场景