深尖峰神经网络重建器

算力能耗骤降

用脉冲驱动的方式重建尖峰相机图像，摆脱对高功耗ANN的依赖，在相近画质下实现轻量级部署。

Zhao, Rui · 熊瑞勤 · 长江 · 余肇飞 · 朱树元 · Ma, Lei · Huang, Tie Jun

IEEE Transactions on Circuits and Systems for Video Technology 2023

技术优势

算力降一个量级

脉冲网络只在脉冲到来时做加法，避免了ANN的浮点乘法运算，计算量大幅下降。

重建质量不拉胯

在多个测试集中，该网络重建的PSNR等指标与当前最佳ANN方法相当，没有性能妥协。

应用场景

• 高速视觉传感：以低功耗处理每秒数万帧的尖峰流，让高速相机不再需要外部高性能计算。
• 神经形态计算：用SNN直接处理事件数据，避免耗时耗能的转换步骤，充分发挥神经形态硬件的优势。
• 边缘视觉设备：将重建任务从云端下放到设备端，实现实时、低功耗的视觉处理。
• 无人机视觉：无人机电池和算力有限，轻量级重建模块可延长飞行时间并减少散热需求。