异构GPU集群流水线并行训练加速器

负载均衡提升训练效率

提出一个面向异构GPU集群的模型划分与任务放置算法，通过动态规划对异构GPU和网络带宽进行联合优化，实现流水线负载均衡，从而显著提升大规模DNN训练速度。

张竞慧 · Geng, Niu · Dai, Qiangsheng · Haorui, Li · Wu, Zhihua · 东方 · 伍之昂

Neurocomputing 2023

技术优势

负载均衡

动态规划算法联合优化模型划分和任务放置，均衡各流水线阶段的计算负载，避免部分GPU闲置。

训练提速

与基线方法相比，PipePar在异构集群上加速大规模DNN训练，实测训练速度更高。

适配异构

算法能对每类GPU进行模型性能剖析，并根据给定GPU和网络连接进行划分，无需人工调整。

应用场景

• 大规模神经网络训练：加速大规模DNN训练，节省训练时间和资源。
• 异构计算集群：在异构GPU集群上实现负载均衡，充分利用异构算力。
• 分布式深度学习：提升分布式训练流水线效率，减少通信等待。
• AI训练基础设施：为AI训练平台提供高效的模型划分与任务放置方案。