时空融合脉冲网络

用脉冲神经网络在特征与决策层融合帧相机和事件相机的信息

Qiao, Guanchao · Ning, Ning · Zuo, Yue · Zhou, Pujun · Sun, Mingliang · 胡绍刚 · Qi, Yu · 刘洋

IEEE Transactions on Emerging Topics in Computational Intelligence 2024

参数信息

融合准确率

95.77 %

技术优势

精度大幅提升

在特征级和决策级同时融合两类传感器信息，比单模态SNN分别提升5.01%和19.27%。

参数量不翻倍

提出的权重量化方法有效解决了融合带来的参数量翻倍问题，降低部署负担。

数据准备门槛低

无需帧与事件精确对齐，弱对应即可训练，降低数据准备难度。

应用场景

• 多模态感知：替代单模态传感器，在复杂场景中同时捕捉纹理和动态，提升感知鲁棒性。
• 机器人视觉：让机器人在高速运动或光照剧变时仍能稳定识别，减少运动模糊和过曝影响。
• 视觉导航：为导航系统提供低延迟、高动态范围的视觉输入，应对快速变化的环境。
• 边缘智能：量化方案抑制参数量增长，适合算力和功耗受限的边缘设备部署。
• 神经形态芯片：SNN范式与神经形态芯片天然匹配，量化模型可直接部署于类脑硬件。