共识误差更低
针对去中心化优化中数据分布非独立同分布问题,提出一种泛化的Push-SUM协议,通过自适应加权机制在理论上将共识距离上界从O(1)降至O(1/N),并提升SGD及动量SGD的收敛速率。
周依明 · Cheng, Yifei · 徐林莉 · 陈恩红
IEEE Transactions on Control of Network Systems 2025
新协议在通信充分时将共识距离上界降至O(1/N),而原Push-SUM协议为O(1)。
采用SGD和动量SGD时,新协议的收敛速率达到O(N/T),优于Push-SUM的O(Nd/T),其中d为模型参数维度。
深度学习实验验证新协议在实际中比Push-SUM更高效。