跨模态对比特征提取器

光学SAR特征统一

通过跨模态对比学习将光学与SAR图像时间序列映射到统一特征空间，在不依赖大量训练样本的情况下提升作物分类精度。

袁媛 · Lin, Lei · Zhou, Zengguang · Houjun, Jiang · 刘青山

ISPRS Journal of Photogrammetry and Remote Sensing 2023

技术优势

真正用到两模态互补

通过对比学习让同类不同模态特征靠近，而不是只把两个独立分支的输出拼接，从而提升分类精度。

样本少也仍然有效

统一的特征表示降低了模型对大量标注样本的依赖，因此在训练样本不足时依然明显优于传统监督方法。

模型复杂度更低

双分支网络采用部分权重共享，在保持性能的同时减少了参数量，更易于训练和部署。

应用场景

• 作物分布制图：直接用于作物制图，省去人工设计光学与SAR融合特征。
• 农业遥感监测：为农业遥感提供更稳健的作物分类特征，支持精准农业应用。
• 多模态遥感融合：为多模态遥感学习提供一种对比学习范式，减少模态差异干扰。
• 地物分类：能将光学与SAR特征对齐到统一空间，提高地物分类的判别力。