PLAYS层调度算法

消除容器启动延迟

该算法面向无服务器边缘云环境，通过基于优先级的层级调度策略，有效消除容器启动带来的额外延迟，从而显著降低分布式DNN推理的整体延迟。

Geng, Hongmin · 曾德泽 · Li, Yuepeng · 顾琳 · 陈全 · Li, Peng

IEEE Internet of Things Journal 2024

技术优势

消除容器启动延迟

通过基于优先级的层调度，容器启动与DNN层计算重叠，从而消除额外启动时间。

适应多种DNN模型

在多个知名DNN模型上验证了算法的有效性和适应性。

应用场景

• 边缘智能推理：在边缘云上调度DNN推理任务，降低端到端延迟。
• 物联网应用：为AIoT应用提供低延迟的推理服务。
• DNN推理加速：通过优化调度加速分布式DNN推理。