多维注意力可微分架构搜索

为脉冲神经网络自动搜索最优结构，集成多维注意力机制，超越同等参数下现有方法。

Yilei, Man · Linhai, Xie · 乔树山 · 周玉梅 · 尚德龙

Neurocomputing 2024

参数信息

CIFAR10 分类准确率

94.40 %

CIFAR100 分类准确率

76.52 %

模型脉冲数

110 K

技术优势

结构自动搜

采用可微两级搜索空间，在微观架构内自动寻找最优脉冲神经网络结构，摆脱手工设计依赖。

注意力加持

融合多维注意力机制，提升网络的特征提取能力，使其在相同参数量下表现更优。

脉冲数稳定

模型脉冲总数在验证集稳定在约 110K，训练集约 100K，有利于硬件功耗预算。

应用场景

• 低功耗视觉识别：用低脉冲数模型做图像分类，降低边缘设备功耗。
• 神经形态芯片设计：提供搜索出的最优网络结构，作为芯片架构参考。
• 边缘设备智能：低脉冲数和自动搜索结构适合资源受限设备部署。
• 自主系统感知：高效 SNN 可用于自主系统的视觉感知，降低能耗。