查询对比交换网络

免掩码身份监督

首个同时摆脱像素级掩码和实例级身份标注的视频实例分割方法,显著缩小与强监督基准的性能差距。

Ge, Li · 曹家乐 · 孙汉卿 · Anwer, Rao Muhammad · 谢劲 · Khan, Fahad Shahbaz · 庞彦伟

IEEE Transactions on Multimedia 2024

参数信息

性能比
91.4 %

技术优势

无需掩码标注

通过查询交换掩码学习,利用视频内和视频间的查询交换特性,无需逐帧掩码监督即可学习实例掩码。

无需身份标注

实例查询对比通过跨帧实例匹配和查询特征对比学习,替代了跨帧的实例级身份标注。

性能差距显著缩小

在 YouTube-VIS 2019 验证集上,使用相同预训练模型时,性能达到强监督基线的 91.4%。

应用场景