脉冲多模态Transformer

多模态低能耗

结合脉冲神经网络与Transformer，通过交叉注意力融合视听模态，实现低能耗高精度的多模态分类。

Lingyue, Guo · Zeyu, Gao · Jinye, Qu · Suiwu, Zheng · Jiang, Runhao · Lu, Yanfeng · 乔红

IEEE Transactions on Cognitive and Developmental Systems 2023

技术优势

能耗大幅降低

基于脉冲事件驱动，实现低功耗计算，适合资源受限设备。

模态融合更强

脉冲交叉注意力模块有效增强视觉与音频模态间的相关性。

多模态精度竞争

在多个公开及自建数据集上取得竞争性分类准确率。

应用场景

• 多模态感知机器人：为机器人提供低功耗视听感知，提升环境理解与交互能力。
• 脑机接口信号分类：处理脑机接口中的多模态神经信号，降低植入设备功耗。
• 低功耗边缘智能：在边缘设备上实现低能耗多模态分类，延长电池寿命。