自适应稀疏注意力加速器

稀疏度自动寻优

通过动态分层Top-K剪枝形成规则稀疏模式,在保持模型精度的同时实现高稀疏度,并以双引擎架构将预测与计算解耦,达到端到端优化。

Yi, Zhang · Chang, Junsheng · Yuxin, Huang · 郭阳 · 刘胜

Journal of Systems Architecture 2026

参数信息

稀疏度
77.7–91.6 %
稀疏度
90.3–91.2 %

技术优势

稀疏模式规则化

通过细粒度分组和自适应稀疏度分配,动态剪枝自然形成规则稀疏结构,避免负载不均衡。

预测与计算解耦

动态剪枝引擎采用低精度计算,稀疏计算引擎采用高精度计算,解耦设计支持两个模块独立优化。

精度无损

在BERT和Bloom模型上达到高稀疏度的同时,精度和困惑度均与稠密基线一致。

应用场景