硬件在环剪枝器

实测时延剪枝

一种在剪枝过程中直接测量实际推理时延的方法，使剪枝结果更贴近硬件真实表现。

Li, Dong · Qianqian, Ye · Xiaoyue, Guo · Sun, Yunda · Zhang, Li

Neural Computing and Applications 2024

参数信息

推理时延（ResNet50）

60 %

推理时延（YOLOv3）

75 %

精度变化

0.6 %

技术优势

时延测得准

剪枝过程中自动将中间网络转换为可部署模型，在目标硬件上直接测量时延，避免查表偏差。

优先砍时延大的层

通过层内快速最优剪枝率搜索和逐层混合剪枝，首先移除对时延贡献大的不重要层。

精度损失可控

在 ImageNet 和 COCO 上，时延分别降至 60% 和 75%，精度变化不超过 0.6%。

应用场景

• 边缘AI推理：在边缘设备上实时运行 CNN，满足低时延要求。
• 神经网络压缩：压缩模型时兼顾硬件实测时延与精度，避免实际部署时延与预估不符。
• 实时目标检测：加速 YOLOv3 等检测网络，满足实时检测的时延预算。
• 资源受限平台部署：针对资源受限平台自动优化网络结构，减少时延和计算量。