通用注意力优化框架

加速视觉Transformer

通过软硬件协同设计同时解决线性投影和自注意力的瓶颈问题，实现高能效加速。

Xuhang, Wang · Qiyue, Huang · Xing, Li · Haozhe, Jiang · 徐强 · 梁晓峣 · 宋卓然

IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems 2024

技术优势

在线稀疏化

SQArch的低成本预处理模块可在运行时预测并剪除输入矩阵中的非关键元素，减少计算量。

负载均衡

通过解耦脉动阵列行并提供SpMSpM负载平衡方案，允许阵列接受相似稀疏度的数据，减少同步开销，解决利用率不足和负载不平衡问题。

应用场景

• AI加速器：用于视觉Transformer加速芯片设计，降低存储与延迟。
• 边缘端视觉Transformer推理：为边缘设备提供高能效的视觉Transformer推理加速方案。