伪同步更新加速大规模深度学习训练

训练加速且收敛可保证

通过异周期伪同步更新与自适应指数平滑预测梯度算法，实现大规模数据并行深度学习训练的高效加速，同时确保模型收敛性与精度。

Wen, Yingpeng · Qiu, Zhilin · 张冬雨 · 黄聃 · 肖侬 · 林倞

International Journal of Parallel Programming 2023

参数信息

弱扩展效率

90.5 %

弱扩展效率

93.4 %

技术优势

通信等待可被隐藏

用上一次梯度先更新网络，新梯度同步在后台进行，计算与通信重叠，节点增多时不再空等。

收敛性可被保证

自适应指数平滑预测梯度算法动态调整历史梯度的置信系数，训练过程能正常收敛，弥补了异步方法在大规模训练中的缺陷。

扩展效率高

在 64 节点和 128 节点上分别达到 93.4% 和 90.5% 的弱扩展效率，接近线性扩展。

应用场景

• 大数据分布式训练：大数据训练时用伪同步更新替代同步 SGD，在节点数增加时保持高弱扩展效率，缩短训练时间。
• 高性能计算：在天河二号上展示了 128 节点的高效扩展，适合大规模 HPC 环境下的深度学习任务。
• 深度神经网络加速器：通过隐藏同步延迟，提高数据并行训练的吞吐率，可作为分布式 DNN 训练的优化方案。
• 大规模并行计算：方法在 128 节点上接近线性扩展，适用于大规模并行深度学习训练。