该调度器在传输层以数据包粒度进行优先级调度,实现通信与计算近似最优重叠,并利用传输层即时聚合实现梯度推拉的完全重叠。
Duan, Qingyang · Chao, Peng · Wang, Zeqin · 徐跃东 · Liu, Shaoteng · 吴俊 · Lui, John Chi Shing
IEEE Transactions on Parallel and Distributed Systems 2023
相比经典参数服务器架构,训练加速最高达 130%;相比最先进的张量划分方法,加速最高达 104%。
将优先级调度移至传输层的数据包粒度,避免了用户层张量划分中每个划分前插入的启动时隙对调度增益的抵消。
在多租户集群中网络带宽共享或时变时,仍能良好适应动态通信和计算资源。