消除计算通信重叠的内存瓶颈
在云计算资源上通过细粒度控制通信重叠与内存消耗，大幅提升大语言模型训练效率。
Li, Fanxin · Zhao, Shixiong · Qing, Yuhao · Jiang, Jianyu · Chen, Xusheng · Cui, Heming
IEEE Transactions on Parallel and Distributed Systems 2025
通过弹性调度微批次数量，使通信与计算充分重叠，消除大部分由通信引起的加速器空闲。
流水感知的选择性重计算将重计算占训练时间的比例控制在 1.9% 以内，既节省内存又不显著拖慢训练。
在商用云环境上，训练吞吐相对现有方案提升 20.1% 到 33.8%。