膜电位批量归一化

提升SNN训练性能

该技术通过在脉冲神经元激活前再次归一化膜电位,有效提升脉冲神经网络的训练稳定性与性能。

Guo, Yufei · Zhang, Yuhan · Chen, Yuanpei · Weihang, Peng · Liu, Xiaode · 张力文 · Huang, Xuhui · Ma, Zhe

2023

参数信息

上达到
80.1 %
上达到
76.12 %

技术优势

训练更稳定

在脉冲激活前再次归一化膜电位,弥补了卷积层后BN的不足,解决了数据分布再次被扰乱的问题。

不增加推理负担

通过训练-推理解耦重参数化技术将MPBN折叠到脉冲阈值中,消除了推理时的额外时间成本。

支持逐元素归一化

MPBN可以采用逐元素形式,而卷积层后的BN只能采用通道级形式,提高了灵活性。

应用场景