免掩码身份监督
首个同时摆脱像素级掩码和实例级身份标注的视频实例分割方法,显著缩小与强监督基准的性能差距。
Ge, Li · 曹家乐 · 孙汉卿 · Anwer, Rao Muhammad · 谢劲 · Khan, Fahad Shahbaz · 庞彦伟
IEEE Transactions on Multimedia 2024
通过查询交换掩码学习,利用视频内和视频间的查询交换特性,无需逐帧掩码监督即可学习实例掩码。
实例查询对比通过跨帧实例匹配和查询特征对比学习,替代了跨帧的实例级身份标注。
在 YouTube-VIS 2019 验证集上,使用相同预训练模型时,性能达到强监督基线的 91.4%。