掩码特征建模框架

精度超现有方法

针对高分辨率遥感影像，提出一种融合CNN与Transformer的生成式自监督预训练方法，能有效提取多尺度特征，提升下游任务精度。

庞世燕 · Hanchun, Hu · Zuo, Zhiqi · 陈加 · 胡翔云

IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 2024

技术优势

融合CNN与Transformer

既保留CNN局部特征表示的优势，又具备Transformer的全局信息建模能力，提升特征提取能力。

多尺度特征输出

特征提取网络输出多尺度特征，便于添加上采样和跳跃连接，提高密集预测任务精度。

小样本微调

预训练模型可通过少量样本微调应用于多种下游任务，减少对大量标注数据的依赖。

应用场景

• 遥感图像解译：减少对大量标注样本的依赖，提升跨域解译效率。
• 语义分割：通过预训练+微调获得高精度分割结果。
• 地物分类：提升地物分类精度，减少人工标注成本。
• 视觉预训练：提供一种CNN+Transformer混合的自监督预训练方法，可迁移至多种下游任务。