细粒度DNN划分器

边缘推理时延降七成

一种把DNN计算在边缘服务器间动态切分、且与多实例部署同步优化的进化分层强化学习算法,无需预设划分点,直接压低端到端推理时延。

72331461 · He, Xiang · 陈莹 · Wang, Zhongjie

Future Generation Computer Systems 2026

参数信息

端到端时延降低幅度
30–70 %

技术优势

没有固定划分点

用遗传算法搜索细粒度划分,不必预先指定哪些层切到哪台服务器,划分可以自动适应网络和负载变化。

多实例消除单点瓶颈

允许同一层或子图在多个边缘服务器上复制执行,避免一台设备成为吞吐上限,让整体服务能力随资源扩展。

时延降三到七成

相比最优现有方法,端到端时延降低30–70%,不是只优化单段,而是把划分与部署联合起来一起调。

真机集群跑通

在Kubernetes测试床上做了真实部署验证,不只是仿真,说明算法在真实调度和网络条件下能落地。

应用场景