传输层调度器

该调度器在传输层以数据包粒度进行优先级调度,实现通信与计算近似最优重叠,并利用传输层即时聚合实现梯度推拉的完全重叠。

Duan, Qingyang · Chao, Peng · Wang, Zeqin · 徐跃东 · Liu, Shaoteng · 吴俊 · Lui, John Chi Shing

IEEE Transactions on Parallel and Distributed Systems 2023

参数信息

训练加速比
130 %
训练加速比
104 %

技术优势

训练提速最高 130%

相比经典参数服务器架构,训练加速最高达 130%;相比最先进的张量划分方法,加速最高达 104%。

消除启动时隙影响

将优先级调度移至传输层的数据包粒度,避免了用户层张量划分中每个划分前插入的启动时隙对调度增益的抵消。

适应动态资源

在多租户集群中网络带宽共享或时变时,仍能良好适应动态通信和计算资源。

应用场景