帧-事件融合去模糊网络

长程跨模态交互

通过互补-独特特征分离聚合与循环交叉注意力，充分挖掘帧与事件流的长程跨模态相关性，在合成与真实数据集上均优于现有方法。

杨文 · 吴金建 · Ma, Jupo · 李雷达 · 董伟生 · 石光明

IEEE Transactions on Image Processing 2024

技术优势

消除模态冗余

利用相关性约束促使互补特征与独有特征分离，避免跨模态融合中的信息冗余

保留时序上下文

循环交叉注意力在相邻输入间建立长程时空交互，使当前空间特征与聚合时序特征相互关注

适用于真实场景

在合成与真实世界运动去模糊数据集上均验证优于现有方法

应用场景

• 运动去模糊：利用事件流补充丢失的运动信息，直接提升去模糊效果
• 事件相机图像处理：充分发挥事件相机的微秒级异步运动捕捉能力，引导图像恢复
• 传感器融合：提供帧-事件异构数据的长程跨模态融合方案，减少冗余并增强互补