联合模态查询融合网络

实时先进性能

以联合模态查询将特征提取与融合耦合，实时应对模态质量波动以提升跟踪精度。

范慧杰 · Zhencheng, Yu · Wang, Qiang · Fan, Baojie · Tang, Yangdong

IEEE Transactions on Image Processing 2024

参数信息

在 LasHeR 上的性能

65.4 %

技术优势

提取融合互相促进

通过联合模态查询，模态内特征增强和模态间交互统一在同一过程中，能够区分并增强互补的模态特征，同时滤除冗余信息。

自适应模态质量波动

查询基于当前帧的多模态特征初始化，因此后续融合能适应跟踪过程中模态质量的波动，例如某一模态退化时仍能保持鲁棒跟踪。

实时跟踪

提出区域交叉注意力进行跨模态交互，降低计算成本，使端到端跟踪器在多个基准上达到最新最优的同时保持实时运行速度。

应用场景

• RGBT目标跟踪：直接提升可见光-热红外跟踪精度，替代传统分离式提取融合方案。
• 多模态感知：为多模态感知提供特征提取与融合耦合的新机制，增强对模态波动的适应性。
• 机器人视觉：使机器人在光照变化或烟雾等场景下仍能稳定跟踪目标，且实时运行。
• 无人机侦察：无人机可用可见光与热红外融合实现全天候目标跟踪，且满足实时处理需求。