自适应加权Push-SUM协议

共识误差更低

针对去中心化优化中数据分布非独立同分布问题,提出一种泛化的Push-SUM协议,通过自适应加权机制在理论上将共识距离上界从O(1)降至O(1/N),并提升SGD及动量SGD的收敛速率。

周依明 · Cheng, Yifei · 徐林莉 · 陈恩红

IEEE Transactions on Control of Network Systems 2025

参数信息

共识距离上界
O(1/N)

技术优势

共识误差更小

新协议在通信充分时将共识距离上界降至O(1/N),而原Push-SUM协议为O(1)。

收敛速率更快

采用SGD和动量SGD时,新协议的收敛速率达到O(N/T),优于Push-SUM的O(Nd/T),其中d为模型参数维度。

实际训练效率更高

深度学习实验验证新协议在实际中比Push-SUM更高效。

应用场景