模态相关配准融合算法

去伪影强结构

从跨模态相关性出发,用双向监督生成器与局部失真感知模块完成红外和可见光图像的配准与融合,减少结构扭曲和边缘重影。

Quanquan, Xiao · 金海燕 · Su, Haonan · 张元林 · Sheng, Guanglei

Information Fusion 2026

技术优势

避免模态转换损失

直接从跨模态相关性出发,不需要将红外和可见光图像映射到统一模态,避免模态转换过程中的信息丢失。

对齐更准

引入双向监督的对抗生成器和局部失真感知位移估计模块,提高红外与可见光图像的对齐精度。

融合质量更好

利用红外与可见光之间的模态相关性进行分解,再通过分解-重构-融合模块提高融合图像的质量和结构表达。

公开可复现

代码和预训练模型在GitHub上公开,使用者可以直接下载并使用。

应用场景