分布式训练模拟器

3%平均误差

以模拟执行建模复杂并行化策略的运行时行为，实现高保真吞吐量预测。

Jiangfei, Duan · 李秀红 · Ping, Xu · Zhang, Xingcheng · Yan, Shengen · 梁云 · Lin, Dahua

IEEE Transactions on Parallel and Distributed Systems 2024

参数信息

平均预测误差

3.0 %

预测误差降低幅度

133.8 %

技术优势

预测误差仅3%

通过模拟执行精确捕获通信与计算重叠和带宽共享等复杂运行时行为，使吞吐量预测平均误差低至3.0%。

误差降低最高133.8%

相比现有最优方法，预测误差降低最高达133.8%，为分布式训练性能评估提供了更可靠的工具。

支持任意并行策略

通过统一的 Strategy Tree 表示复杂并行化策略，并编译为分布式执行图，无需修改模拟器即可建模各种策略。

高保真运行时模拟

采用分层拓扑感知执行器模拟带宽共享和通信-计算重叠，准确反映底层网络的拥塞和竞争行为。

应用场景

• 大规模DNN训练：在训练前预测各种并行策略的吞吐量，选择最优配置加速大规模DNN训练。
• 分布式训练优化：快速评估不同并行化组合的性能，指导分布式训练参数调优。
• 集群性能建模：模拟集群上训练任务的运行时行为，预测吞吐量和资源利用情况。
• 成本与资源规划：根据预测的吞吐量估算训练时间和成本，支持集群资源规划与预算。
• 分布式系统设计：在设计阶段评估不同并行策略和网络拓扑对性能的影响，优化分布式系统架构。