LIEC-SGD优化算法

双向压缩误差即时补

一种双向压缩与本地即时误差补偿结合的随机梯度下降优化算法，在保持双向压缩通信效率的同时，收敛速度优于已有方法。

Yifei, Cheng · Li, Shen · 徐林莉 · Wu, Shiwei · 周依明 · Tao, Dacheng · 陈恩红

Neural Networks 2025

参数信息

测试精度提升（CIFAR-10）

0.53 %

墙钟时间加速比（CIFAR-10）

1.428 ×

墙钟时间加速比（CIFAR-100）

1.721 ×

技术优势

边压缩边快收敛

本地压缩误差在每步迭代中即时补偿到模型更新上，无需等待全局误差回传，从而在双向压缩下仍保持快速收敛。

通信与收敛兼得

理论上证明LIEC-SGD在收敛速率或通信开销方面优于先前工作，同时继承了单向压缩和双向压缩的双重优势。

精度更高

在CIFAR-10和CIFAR-100上，最优测试精度分别比第二好的基线高0.53%和1.44%，说明算法在提升模型效果上也有优势。

训练提速

相比并行SGD，LIEC-SGD在两个CIFAR数据集上分别获得了1.428×和1.721×的墙钟时间加速，实际训练更快。

应用场景

• 分布式训练：在分布式训练中降低通信量并加速收敛，适合带宽有限的多节点环境。
• 边缘智能：双向压缩大幅减少边缘设备与服务器间的数据传输，适合边缘智能场景。
• 通信高效联邦学习：本地即时误差补偿可在联邦学习中减少上行和下行通信，同时维持收敛速度。
• 大规模机器学习系统：在大规模训练中通过梯度压缩降低通信瓶颈，使系统扩展到更多节点。