PromptMID模态不变描述符

跨域匹配更稳定

通过扩散模型与视觉基础模型提取多尺度特征并融合，构建对光学和SAR图像模态差异不敏感的鲁棒描述符，显著提升跨场景泛化能力。

Nie, Han · 罗斌 · 刘峻 · 付志涛 · Zhou, Huan · Shuo, Zhang · Weixing, Liu

ISPRS Journal of Photogrammetry and Remote Sensing 2025

技术优势

无需重复训练

利用文本提示作为先验信息构建模态不变描述符，模型一次训练即可适应多个不同区域，无需为每个新场景反复训练或微调。

跨域泛化更强

融合微调扩散模型与预训练视觉基础模型的多尺度特征，并在对比学习损失下增强描述符判别力，在可见域和未见域都优于现有方法。

应用场景

• 多源图像匹配：提供对模态差异不敏感的通用描述符，直接用于光学与SAR图像之间的稳健匹配。
• 跨模态特征提取：利用文本提示和基础模型提取并融合跨模态特征，无需人工设计特征或针对特定模态调优。