双层深度强化学习调度器

边缘云推理成本大降

该调度器通过分层深度强化学习协同优化慢时间尺度的模型部署与快时间尺度的资源分配，在动态网络下显著降低系统成本。

黄华龙 · Yongkang, Du · 詹文翰 · 段翰聪 · 彭凯 · Cheng, Yamin · 叶娅兰 · Zhao, Zitian

IEEE Internet of Things Journal 2025

技术优势

满足严格QoS要求

优化框架在最小化加权系统成本的同时考虑严格服务质量约束，确保端到端延迟等关键指标满足要求，适用于对延迟敏感的边缘推理场景。

两时间尺度协同

创新性地分隔慢时间尺度的MLLM部署决策与快时间尺度的批调度及资源分配，通过分层架构有效应对多时间尺度资源管理问题，在动态条件下实现高效推理。

应用场景

• 多模态大模型边缘推理：在资源受限设备上高效运行多模态大模型，降低端到端延迟与能耗。
• 边缘智能资源管理：协同调度部署、批处理、GPU与带宽，实现动态网络下的资源优化。
• AI加速器调度：通过深度强化学习动态分配加速器资源，提升推理吞吐。
• 高通量计算：优化批调度与资源分配，满足高通量推理服务需求。