扩散图像融合模型

无需真值的融合

把图像融合视为加权平均过程并纳入扩散采样，配合多任务学习联合训练多个融合任务，替代原有噪声预测网络以同时预测噪声与融合权重，实现对红外-可见光、医学、多曝光等多类图像的高质量融合。

Shi, Yu · Yu, Liu · 成娟 · Jane Wang, Z. · 陈勋

IEEE Transactions on Image Processing 2024

技术优势

无需真值训练

把图像融合表示为扩散采样过程中的加权平均，从而绕过了对参考真值的依赖。

多任务联合训练

同时学习多个融合任务的噪声与权重预测，比单任务训练获得更准确的噪声估计和更好的融合质量。

应用场景

• 多模态感知：融合红外与可见光等多模态图像，提升目标检测等感知任务性能。
• 多传感器融合：整合不同传感器图像，获得信息互补的融合结果。
• 医学图像融合：融合医学图像以辅助诊断或治疗规划。
• 图像增强与复原：融合后图像信息更丰富，可为增强与复原提供输入。
• 计算成像：作为计算成像中的一种融合算法，输出高质量融合图像。