分支流水线并行策略

显著提升吞吐

通过挖掘反向传播中分支的并行潜力，提升大规模深度模型训练效率。

Yonggan, Cui · 刘楚波 · 肖正 · 姜文君 · Chronopoulos, Anthony Theodore · Nicolau, Alexandru · 李肯立

Neurocomputing 2026

技术优势

吞吐显著提升

通过识别反向传播中的并行分支并采用重叠友好调度，使流水线吞吐相对Alpa显著提高。

近线性扩展

在十亿参数级大模型基准上实现近线性性能增长，适合大规模训练。

应用场景

• 大模型训练：加速十亿参数级大模型训练，减少计算等待时间。
• 分布式训练：作为分布式训练框架的流水线并行替代方案，提升集群利用率。
• 智能计算：为智能计算负载提供更高效的模型训练支撑。