自适应遥感Transformer

多尺度语义理解

针对光学遥感图像分辨率差异大、目标尺度多样的特点，通过跨尺度架构与自适应掩码策略，在无标签数据上学习到尺度不变且关注关键结构的表征，具有良好泛化能力。

He, Qibin · 孙显 · Yan, Zhiyuan · Wang, Bing · Zhu, Zicong · 刁文辉 · Michael Ying, Yang

ISPRS Journal of Photogrammetry and Remote Sensing 2023

技术优势

无需标注海量数据

通过掩码图像建模，直接从海量无标签遥感数据中学习，释放了丰富的监督信号，降低了对昂贵标签的依赖。

多尺度特征协同

引入金字塔结构的跨尺度Transformer，协同学习全局依赖与局部细节，促进多粒度特征交互，生成尺度不变表征。

自适应关注关键区域

基于相关映射的掩码token策略，能够自适应地掩码部分图像块而不影响关键结构，增强对视觉重要区域的理解。

应用场景

• 遥感图像解译：提供尺度不变的预训练表征，可在分类、检测、分割等解译任务上微调，提升精度。
• 对地观测：利用无标签卫星影像学习通用表征，支撑大范围地表监测与变化检测。
• 视觉表征学习：通过自监督掩码建模挖掘多尺度视觉特征，为下游视觉任务提供强初始化。
• 智能遥感：自适应掩码策略聚焦关键地物结构，促进智能解译模型对重要区域的感知。