多模态视觉跟踪算法

对可见光-深度与可见光-热红外两类多模态跟踪算法进行系统归纳，并在五个基准数据集上开展全面实验对比，为具体场景的算法选型提供依据。

张鹏云 · 王东 · 卢湖川

Computational Visual Media 2024

技术优势

分类清晰

按统一分类体系归纳多模态跟踪算法，涵盖特征融合、模态互补等不同策略，便于研究者快速定位方法类别。

覆盖全面

同时评估 RGB-D 与 RGB-T 两大主流多模态跟踪设置，包括 PTB、VOT19-RGBD、GTOT、RGBT234 和 VOT19-RGBT 五个数据集。

指导选型

基于多数据集实验分析各算法在不同模态与场景下的表现，为实际应用中的算法选择提供依据。

方向前瞻

从模型设计与数据集构建两方面讨论未来方向，包括网络架构、训练策略、标注效率等。

应用场景

• 机器人视觉跟踪：为机器人视觉跟踪提供多模态算法对比，辅助选择深度或热红外融合方案。
• 无人机目标跟踪：分析可见光-热红外算法在无人机平台上的性能，支撑全天候目标跟踪。
• 具身智能感知：总结多模态融合策略，为具身智能体在复杂环境中的感知提供方法参考。
• 智能监控：通过 RGB-T 基准测试评估算法在监控场景下的鲁棒性，辅助全天时监控部署。
• 工业视觉检测：提供多模态跟踪算法在挑战性条件下的表现对比，为工业场景中的目标跟踪选型提供参考。