提升SNN训练性能
该技术通过在脉冲神经元激活前再次归一化膜电位,有效提升脉冲神经网络的训练稳定性与性能。
Guo, Yufei · Zhang, Yuhan · Chen, Yuanpei · Weihang, Peng · Liu, Xiaode · 张力文 · Huang, Xuhui · Ma, Zhe
2023
在脉冲激活前再次归一化膜电位,弥补了卷积层后BN的不足,解决了数据分布再次被扰乱的问题。
通过训练-推理解耦重参数化技术将MPBN折叠到脉冲阈值中,消除了推理时的额外时间成本。
MPBN可以采用逐元素形式,而卷积层后的BN只能采用通道级形式,提高了灵活性。