统一开放词汇分割模型

一个网络完成三类分割

一个一体化网络以相同的架构和参数同时处理语义、实例和全景分割,并在开放词汇场景下大幅超越最佳任务专用架构。

Jie, Oin · Wu, Jie · Yan, Pengxiang · Ming, Li · Ren, Yuxi · Xiao, Xuefeng · Wang, Yitong · Rui, Wang · Shilei, Wen · Xin, Pan · 王欣刚

2023

参数信息

语义分割 mIoU 提升
5.5 %

技术优势

一个模型覆盖三类分割

使用相同的架构和参数即可无缝处理语义、实例和全景分割,无需为不同任务分别设计网络。

未见类别大幅领先

在 COCO 未见类别上分别超越最佳任务专用架构 5.5% mIoU、17.6% mAP、20.1% PQ,证明其泛化性和任务统一性的双重优势。

自适应提示增强鲁棒性

自适应提示学习帮助模型捕获任务感知和类别敏感的概念,从而提高多任务和多样化场景下的鲁棒性。

应用场景