混合脉冲去模糊网络

事件驱动运动去模糊

该网络从事件流中提取高时间分辨率的运动特征，并与图像背景特征深度融合，有效恢复运动模糊图像。

Liu, Zhaoxin · 吴金建 · 石光明 · 杨文 · 董伟生 · Qinghang, Zhao

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

高时间分辨率提取运动特征

利用脉冲神经网络对事件流进行处理，能够捕捉快速运动中的细节，从而为去模糊提供精准的运动信息。

端到端联合优化

梯度从CNN反向传播到SNN，使混合去模糊网络能够联合优化，实现更有效的训练。

同时利用运动和背景特征

通过混合特征提取编码器充分融合运动特征和背景特征，从而提高去模糊效果。

应用场景

• 运动去模糊：为运动模糊图像恢复清晰细节，提升视觉质量。
• 事件相机：利用事件相机捕捉高速运动，提供去模糊所需的时序信息。
• 混合神经网络：结合脉冲神经网络和卷积神经网络，高效融合运动与背景特征。
• 图像处理：为图像处理任务提供一种新的运动去模糊解决方案。