暹罗掩模跟踪分割器

实时跟踪加分割

单框初始化即可同时输出目标框和像素级分割，无需额外分割模块。

胡卫明 · Wang, Qiang · 张立 · Bertinetto, Luca · Torr P.

IEEE Transactions on Pattern Analysis and Machine Intelligence 2023

参数信息

处理速度

55 fps

技术优势

单框即可分割

离线训练时在 Siamese 损失中加入二值分割任务，在线阶段只给一个边界框，网络就能同时输出目标框和分割掩码，无需额外模块或逐帧优化。

多目标即插即用

通过级联重用多任务模型即可扩展处理多目标跟踪与分割，不需要重新训练或设计新的架构。

应用场景

• 机器人视觉：机器人可实时感知目标位置和轮廓，用于抓取和避障。
• 手术器械跟踪：实时输出手术器械边界框和精确掩码，辅助手术导航和操作评估。
• 无人机目标跟随：无人机实时跟踪目标并分割轮廓，用于锁定和跟随特定对象。
• 移动端视频分割：在算力有限的移动端同时输出跟踪框和分割掩码，支持实时视频编辑。
• 软体机器人感知：帮助软体机器人实时识别和分割变形目标，用于自适应抓取和交互。