多尺度空谱Transformer融合网络

全局特征利用更充分

利用Transformer捕获特征图中的全局关系,通过自监督预训练策略提升融合网络的性能与泛化能力。

贾森 · Zhichao, Min · Fu, Xiyou

Information Fusion 2023

技术优势

全局关系建模

利用Transformer自注意力从整个特征图提取全局信息,弥补CNN感受野有限的缺陷,从而提升融合质量。

多尺度特征融合

引入多尺度波段/图像块嵌入,通过光谱Transformer和空间Transformer获得多尺度特征,增强对不同尺度细节的捕捉能力。

自监督预训练提升泛化

设计掩码波段自编码器和掩码图像块自编码器对光谱和空间Transformer分别预训练,提高网络性能和泛化能力。

即取即用的模型

代码和预训练权重将公开,用户可直接使用或微调,降低复现和应用门槛。

应用场景