视点不变可变形特征变换

跨视角匹配更鲁棒

利用可变形卷积网络和种子注意力机制，在视角、光照和尺度剧烈变化下仍能保持高精度特征匹配。

Zhu, Bai · 叶沅鑫 · Jinkun, Dai · Tao, Peng · Jiwei, Deng · 朱庆

ISPRS Journal of Photogrammetry and Remote Sensing 2024

技术优势

匹配更准

通过可变形卷积和深度可分离卷积获得动态感受野，适应视角变化引起的局部几何变形，使特征点定位和描述更准确。

鲁棒性更强

联合检测与描述策略共享多层可变形特征，使特征表示对视角、光照和尺度剧变更具抵抗力。

效率更高

种子注意力模块利用自注意力和交叉注意力，同时提升特征匹配的性能和效率。

应用场景

• 具身智能：为机器人提供跨视角场景理解能力，在地面视角与空中观测之间建立可靠对应。
• 光学与光子学：促进跨视角图像配准，为多源光学成像的融合与目标识别提供稳健匹配。
• 物联网与传感网：提升多传感器异构图像匹配能力，支撑物联网中视觉传感器数据的协同分析。
• 航天器与运载技术：支撑地空视觉导航与目标跟踪，提升航天器在复杂视角下的自主感知能力。
• 卫星互联网：用于卫星与地面图像的高精度匹配，辅助大范围地理信息更新与应急响应。