二值脉冲Transformer

即插即用轻量部署

首创用于EEG听觉注意力检测的二值脉冲Transformer,在可部署的边缘设备上以显著更低的能耗实现超过现有最佳模型的精度。

Lan, Yawen · Wang, Yuchen · 张榆平 · 朱宏

Neural Networks 2024

参数信息

模型压缩比
21 ×

技术优势

模型缩小21倍

采用后训练量化将全精度权重量化为二值,大幅减小模型体积,便于在资源受限的边缘设备上存储和推理。

功耗足够低

脉冲神经元发射稀疏的二值脉冲序列,有效减少计算功耗,适合电池供电的可穿戴设备。

精度不输传统模型

Transformer结构保证了模型能够学习有效信息,在主流数据集上性能超过现有最佳模型。

应用场景