变化掩码模态对齐网络

异构模态变化检测

利用变化掩码解耦地表变化与模态异质性，在统一特征空间中实现多模态配准与检测，显著提升变化检测精度。

Jiang, Fenlong · Bo, Huang · Wu, Husheng · Feng, Dan · 周宇 · 张明阳 · 公茂果 · 赵伟 · 管子玉

IEEE Transactions on Geoscience and Remote Sensing 2024

技术优势

解耦模态异质与变化

利用变化概率图掩码IMT中的变化区域，将地表变化与模态异质性解耦，使特征对齐不再受变化干扰。

统一多模态特征空间

通过共享的Swin-Transformer编码器提取双时相多模态特征，并利用IMT分支的对抗训练对齐不同模态的特征分布。

骨干网络兼容

该框架可方便地替换为多种常用骨干网络，无需大幅修改即可保持性能，便于快速集成到现有系统。

应用场景

• 多模态遥感变化检测：解决多模态图像异质性导致的检测不准，在灾害评估、城市扩张等场景提供可靠变化信息。
• 遥感图像融合：通过模态对齐实现特征级融合，为后续融合分析提供统一表示，提升融合质量。
• 环境监测：利用多模态数据互补优势，在复杂环境下稳定检测地表变化，支持生态环境动态监测。