自动化3D并行训练框架

训练速度最高提升1.61倍

无需手动修改模型即可实现大规模分布式训练，自动划分与调度提升资源利用率。

Lai, Zhiquan · Li, Shengwei · Xudong, Tang · Ge, Keshi · Weijie, Liu · Yabo, Duan · 乔林波 · 李东升

IEEE Transactions on Parallel and Distributed Systems 2023

参数信息

相比最先进

3 D

技术优势

无需改模型

通过非侵入式API即可实现3D并行，开发者无需手动修改模型结构。

资源利用率高

通过移位关键路径流水线调度、阶段感知重计算和子流水线张量并行，充分利用计算、内存和带宽资源。

应用场景

• 大规模模型预训练：预训练千亿级模型时无需手动改造代码，直接提升训练吞吐，缩短迭代周期。
• 分布式深度学习训练：自动组合数据并行、流水线并行与张量并行，在超大规模集群上逼近线性扩展。
• GPU集群高效计算：通过调度与重计算策略，提升GPU利用率并降低显存压力，让同等硬件跑更大模型。
• 机器人模型训练加速：分布式训练端到端模型（如视觉语言导航、抓取规划）时获得近线性加速，缩短实验周期。