Vis-TOP叠加处理器

吞吐量超GPU 1.5倍

面向全部Vision Transformer模型的可重构叠加处理器，用三层两级映射结构实现无需改硬件的模型切换。

Liu, Fang · Fan, Zimeng · Hu, Wei · Xu, Dian · Min, Peng · Jing, He · 何炎祥

Applied Soft Computing Journal 2024

参数信息

吞吐量

1.5 ×

单个DSP吞吐量

2.2-11.7 ×

技术优势

性能超GPU

在8位定点量化的Swin Transformer上，吞吐量比GPU实现高1.5倍，边缘设备上就能获得超过GPU的推理速度。

DSP效率更高

单个DSP的吞吐量是现有Transformer加速器的2.2到11.7倍，在有限的FPGA资源下能获得更强的计算能力。

切换模型不用改硬件

三层两级映射结构封装了Vision Transformer共性，指令集和硬件架构支持灵活切换不同模型，无需修改硬件设计。

应用场景

• 视觉Transformer边缘推理：在边缘设备上直接跑视觉Transformer，省去云端传输延迟。
• 智能相机：让相机端实时处理视频流，无需回传服务器就能做识别。
• 实时视觉感知：以超过GPU的吞吐量满足实时感知的帧率要求。
• 边缘视觉智能：把视觉智能算法下沉到边缘，降低对云算力的依赖。