掩码重建对比学习

分割检测不掉点

一种即插即用的对比学习增强方法，通过掩码重建保留语义和结构信息，显著提升下游密集预测任务的泛化性。

Liu, Ziwen · 李伯男 · Yao, Yan · 韩丛英 · 郭田德 · Nie, Xuecheng

Pattern Recognition 2027

参数信息

ImageNet 线性评估 top-1 精度

+1.2 %

技术优势

密集预测不掉点

MRCL 通过掩码重建保留语义和结构信息，使预训练表示更适合分割和检测等密集预测任务。

即插即用

MRCL 可以与经典对比学习框架（如 SimCLR、MoCo）结合，无需改变主干网络结构。

大型 ViT 可扩展

在大型 Vision Transformer 上展现出良好的可扩展性，并可获得有竞争力的迁移性能。

应用场景

• 自监督学习：提供一种即插即用的对比学习正则化方法，无需额外标注即可提升表示质量。
• 语义分割：通过掩码重建保留空间结构信息，使预训练特征更利于分割任务。
• 目标检测：提升预训练表示的泛化性，在检测任务上获得稳定增益。
• 视觉Transformer：在 ViT 上扩展良好，适合大规模预训练。