动态冗余感知ViT加速器

边缘端部署ViT

通过token合并、剪枝和INT8量化的算法-架构协同设计，在不损失精度的情况下显著降低ViT推理延迟和能耗。

Sun X.F. · Yuanting, Zhang · Qinyu, Wang · Zou, Xiaofeng · Yujia, Liu · Zeng, Ziqian · Zhuang, Huiping

Journal of Parallel and Distributed Computing 2025

参数信息

推理延迟

0.86 ms

推理延迟

1.17 ms

峰值吞吐量

1380 GOP/s

技术优势

推理延迟降至毫秒级

ViT-tiny推理延迟最低仅0.86 ms/图像，满足边缘设备实时处理需求。

吞吐量高出同类

峰值吞吐量达1,380 GOP/s，优于现有加速器，且仅需较低频率即可实现。

算法硬件协同设计

采用token合并、剪枝与INT8量化，在保持精度的同时显著降低计算量和存储需求。

应用场景

• 边缘计算：显著降低延迟和能耗，让ViT能在资源受限的边缘设备上实时运行。
• 多模态AI：加速多模态框架中的视觉Transformer，提升图像数据处理效率。
• Transformer加速：通过token合并、剪枝和INT8量化，大幅提升ViT推理速度。
• 分布式系统：降低计算与存储需求，使ViT更适合分布式框架中的边缘节点。
• 工业视觉：提供快速、高效的视觉处理，满足工业场景对实时性的要求。