掩码嵌入实例分割Transformer

分割精度大幅领先

通过掩码元嵌入统一编解码目标并融合空间信息，在COCO上大幅超越现有掩码嵌入模型。

Hu, Jie · Yao, Lu · 张声传 · 曹刘娟

IEEE Transactions on Image Processing 2024

参数信息

COCO掩码AP

2.4 AP

技术优势

不需要检测分支

直接以掩码嵌入作为查询，避免了检测与分割两阶段的误差累积。

统一多种解码目标

将PCA、DCT等解码方案纳入元公式，便于灵活切换并获得性能提升。

空间信息有效融合

可学习的空间掩码调谐器融合空间与嵌入信息，显著提升分割性能。

应用场景

• 图像实例分割：以更简洁的流程获得高质量掩码，免去检测分支的额外开销。
• 自动驾驶感知：在Cityscapes上超越多个强基线，适合城市场景的精细分割。
• 医学图像分析：掩码嵌入机制可扩展到医学图像中的复杂形状分割。