红外可见光融合网络

CNN 与 Transformer 交叉耦合，保留多模态图像局部细节与全局结构。

Xue, Li · He, Hui · Jin, Shi

Electronics (Switzerland) 2024

技术优势

局部全局都保留

CNN 块提取局部结构，Transformer 块建模全局依赖，避免单一架构的特征损失。

减少特征丢失

编码器-解码器架构同时用于 CNN 和 Transformer 块，保留所有层级特征。

信息流互通

交叉耦合框架让 Transformer 基于 CNN 提取的局部特征建立长程依赖。

融合质量更高

采用混合 SSIM 和 MSE 损失，在定性与定量比较中均优于现有方法。

应用场景

• 多模态感知：融合红外与可见光，增强目标探测与场景理解。
• 工业视觉检测：在光照不足或遮挡时提供更清晰的检测图像。
• 视觉导航：提高复杂环境下导航系统的鲁棒性。