多模态通用配准模型

跨模态即插即用

通过提示学习动态整合模态提示，统一处理刚性与非刚性形变，适用于多种多模态数据类型。

Tianheng, Zheng · Guanglu, Dong · 张平平 · 何小海 · 任超

IEEE Transactions on Circuits and Systems for Video Technology 2025

技术优势

无需预对齐

模型直接在错位多模态图像上配准，不依赖源图像预对齐，增强实际场景适用性。

跨模态通用

通过模态提示模块动态整合不同模态特征，避免为每对模态单独设计网络，适用于多种多模态数据类型。

细节增强

细节增强模块丰富配准结果的细节，提升后续融合等任务的效果。

应用场景

• 多模态传感器融合：先配准不同模态传感器图像，解决错位问题后再融合，提升融合质量。
• 医学图像配准：用于医学影像配准，处理不同成像模态的对齐，辅助诊断和手术规划。
• 遥感图像融合：配准遥感多模态影像，消除几何偏差，提高融合影像的精度和可用性。