统一标记学习跟踪器

语言与框统一建模

将视觉语言跟踪表示为序列标记生成任务，端到端直接预测目标位置，无需复杂先验模块。

Yaozong, Zheng · 钟必能 · Liang, Qihua · 李国荣 · 纪荣嵘 · 李先贤

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

建模更简单

将跟踪任务定义为序列生成，避免了多个子任务学习和手工设计损失函数，只用交叉熵损失统一优化。

精度有竞争力

在四个公开基准上取得与现有最优方法相当的结果，证明了统一范式的有效性。

应用场景

• 视觉目标跟踪：部署到视频监控、机器人等场景，端到端跟踪任意目标，无需针对目标设计先验模块。
• 语言引导跟踪：用自然语言指定目标，在复杂场景中实现人机交互式跟踪，适合指令驱动的智能系统。
• 具身智能感知：为机器人提供语言引导的视觉感知能力，使其能根据指令持续跟踪目标物体。
• 智能监控：在监控视频中用语言描述关注对象，实现跨摄像头的连续跟踪与检索。