梯度稀疏数据表示

稀疏压缩比更优

提出 DenseStream 数据表示，缓解分布式同步 SGD 梯度稀疏化中的通信扩展性问题，在不同稀疏度下均能保持较高压缩比。

Guangyao, Li · 廖名学 · Yongyue, Chao · 吕品

2023

参数信息

加速比

3.1-12.1 ×

技术优势

更高密度下压缩比更优

通过利用稀疏梯度值的局部性，DenseStream 在较高密度下仍能保持低通信量，避免了稀疏化在高密度时退化为稠密通信的问题。

可表示密度范围更广

DenseStream 支持从极稀疏到较稠密的稀疏向量，为不同稀疏化策略提供统一的数据表示。

比 dense AllReduce 快 3.1–12.1 倍

DenseStream 将高效的稀疏 AllReduce 算法与同步 SGD 集成，在真实应用中通信加速达 3.1–12.1 倍，且扩展性随节点数增加保持优势。

应用场景

• 分布式深度学习训练：降低数据并行训练的通信开销，提升低带宽下的训练效率。
• 大规模模型训练：使大规模模型训练中的梯度通信保持可扩展性。
• 高效通信：用稀疏 AllReduce 替代 AllGather，避免通信量随节点数线性增长。
• 分布式训练优化：作为即插即用的梯度稀疏化模块，优化分布式训练流程。