语言引导双模态跟踪器

语言增强定位抗漂移

它通过语言与视觉特征的局部对应建模，在目标外观长期变化时也能稳健跟踪，比现有单目标跟踪器更有效地适应语义与运动信息。

於俊 · Zhongpeng, Cai · Yihao, Li · 王雷 · 高放 · Ye, Yu

IEEE Transactions on Multimedia 2024

技术优势

适应长期变化

全局重定位机制可感知目标消失与错位，并在全图中自适应重新定位，支持长期跟踪。

应用场景

• 机器人视觉：让机器人用语言指令跟踪指定物体，减少对纯视觉外观的依赖。
• 视频监控：用语义线索弥补光照、遮挡下的外观丢失，提升监控目标持续锁定。
• 体育视频分析：用语言描述辅助锁定快速变向的目标，减少相似运动员间的身份切换。