无配准红外可见融合网络

平移鲁棒

不用配准红外与可见光图像，网络内部自动对齐特征，融合结果不受平移错位影响。

李华锋 · Junzhi, Zhao · 李锦兴 · 余正涛 · 卢光明

Information Fusion 2023

技术优势

无需配准

将图像配准问题转化为端到端框架中的特征对齐，避免了红外与可见光模态差异导致的配准难题。

平移鲁棒

通过交叉调制策略和特征动态对齐，自适应地测量平移的空间相关性并动态提取对齐特征，使融合性能不因位移而显著下降。

纹理更清晰

基于局部相似性的特征细化模块增强纹理相关信息，同时抑制伪影相关信息，使融合结果细节更清晰。

应用场景

• 多模态医学成像：医生无需严格对齐不同模态影像即可获得融合图像，提高诊断效率。
• 无人机夜间侦察：在机载传感器因振动产生位移时仍能稳定融合红外与可见光，提升夜间侦察能力。
• 多模态场景感知：为自动驾驶等场景提供对平移误差鲁棒的多模态融合感知，避免因配准失败导致感知失效。
• 传感器融合：为多模态传感器融合提供一种无需严格配准的高效方案，简化系统流程。