4–7倍加速
一种无需转换的数据格式结合细粒度指令集,同时高效处理多批次与多任务推理,在保持算子全覆盖的同时达到GPU级加速。
赵文哲 · Guoming, Yang · Xia, Tian · Fei, Chen · 郑南宁 · 任鹏举
IEEE Transactions on Very Large Scale Integration (VLSI) Systems 2023
采用细粒度ISA,无需为新型算子重新设计硬件,即可通过指令组合实现任意算子。
通过推理调度安排,多批次推理时单张图像推理延迟不会随批次增大而显著增加,保证了实时性。
采用TSMC 28nm工艺制造,每核运行频率1 GHz,峰值性能13 TOPS,适合边缘部署。