多尺度记忆VOS算法

状态领先

引入相关性增强、关键帧判别与多尺度记忆筛选，在没有合成数据或首帧微调的情况下，在多个基准上实现领先的视频对象分割精度。

Li, Xuejun · 宗源 · Wenming, Zheng

IEEE Transactions on Circuits and Systems for Video Technology 2024

技术优势

不用合成数据

通过多尺度记忆筛选自动选择全局-局部优化特征，保证泛化性能，从而无需合成训练数据即可达到领先精度。

不用首帧微调

模型利用上下文相关性增强和关键帧判别来适应目标变化，不依赖首帧微调即可在视频序列中分割对象。

目标剧变也能分

关键帧判别模块专门应对目标发生显著变化的场景，维持分割稳定性。

应用场景

• 视频对象分割：在视频序列中跟踪分割指定对象，取代需大量人工标注或合成数据的方案。
• 视觉伺服：实时提取目标轮廓，为机械臂伺服控制提供精确反馈。
• 工业视觉检测：在生产线视频中分割缺陷区域，替代人工目检提升检测效率。
• 无人机目标跟随：在无人机航拍中隔离移动目标，抗外观变化，稳定跟随。