AIAO 调度算法

消除 GPU 空闲

通过将 DNN 切片并重叠计算与通信任务，AIAO 调度消除了 Megatron 中由数据并行引起的全 GPU 空闲时间，从而提升训练吞吐量。

Li, Fanxin · Zhao, Shixiong · Qing, Yuhao · Chen, Xusheng · Guan, Xiuxian · Wang, Sen · Gong, Zhang · Cui, Heming

IEEE Transactions on Parallel and Distributed Systems 2023

参数信息

由数据并行导致

44 %

训练吞吐量提升

25.2 %

技术优势

在各种设置下性能可扩展至多 GPU

应用场景

• 大规模 DNN 训练：用 AIAO 调度减少训练空闲，提升大模型训练吞吐。
• 分布式训练系统：可在 Megatron 等系统中集成，优化流水线与数据并行。
• 云计算资源优化：通过重叠通信与计算，减少云上 GPU 空闲，节省资源成本。