双路红外可见光融合网络

融合图像细节更丰富

该网络同时保留红外显著目标和可见光纹理细节，融合图像更利于下游目标检测。

Huayi, Zhu · Heshan, Wu · Dongmei, He · 蓝如师 · 刘振丙 · 潘细朋

IEEE Transactions on Consumer Electronics 2023

技术优势

全局与局部兼顾

网络中的 ACmix 融合了卷积和多头自注意力，既能提取局部细节，又能建模全局依赖，避免单一卷积的局限性。

高频细节少丢失

SWGD 基于 Sobel 算子构建注意力梯度块，抑制高频信息损失，增强模态的细粒度信息。

适合下游任务

融合结果在目标检测任务上验证了优越性，表明融合图像包含更多对后续智能处理有用的信息。

应用场景

• 边缘智能感知：融合后的图像信息更丰富，可直接用于边缘设备上的目标检测等智能感知任务，减少原始双流数据处理的计算压力。
• 无人机视觉导航：融合红外与可见光图像，无人机在夜间或低能见度下仍能获取清晰场景信息，提升导航视觉感知的鲁棒性。
• 机器人视觉感知：机器人同时获得热辐射信息和纹理细节，能更好地识别和定位目标，即使在光照变化大的环境中也能稳定工作。
• 多模态电子皮肤：该融合方法可集成到多模态传感器数据处理中，将红外和可见光信息有效结合，提升电子皮肤对场景的理解能力。