不相交掩蔽联合提取方法

加速训练且泛化不减

该方法通过不相交掩蔽和联合提取的协同设计，在不牺牲模型泛化能力的前提下显著加快了掩蔽图像建模的训练收敛速度。

Ma, Xin · Liu, Chang · Chunyu, Xie · 叶龙 · 邓亚峰 · 季向阳

IEEE Transactions on Multimedia 2023

参数信息

训练耗时最多减少

3.7 倍

线性探测分类准确率提升高

3.4 %

应用场景

• 自监督视觉模型开发：用更少训练轮数获得高质量自监督视觉模型，降低迭代成本。
• 高效AI训练：直接替换现有掩蔽图像建模训练流程，节省算力与时间。
• 具身智能模型训练：加速具身智能中视觉编码器的预训练，使机器人感知模块更快就绪。