记忆单元自进化训练
引入记忆单元架构,利用训练过程中产生的中间融合结果协同监督融合输出,使结果不仅从源图像学习,还能从网络自身输出中获益,从而在多种融合任务上优于现有方法。
Cheng, Chunyang · 徐天阳 · 吴小俊
Information Fusion 2023
利用训练过程中产生的中间融合结果进一步协同监督融合图像,使输出不仅从源图像学习,还受益于网络自身的中间输出,从而提升融合质量。
损失函数由内容损失和记忆损失组成,内容损失基于源图像的活动水平图约束输出包含特定信息,记忆损失基于模型先前输出迫使网络生成更高质量的融合结果。
该框架可有效处理红外与可见光、多聚焦、多曝光以及医学图像融合等一系列任务,具备通用性。