自适应梯度激活算法

稳定本地训练

通过自适应梯度激活缓解梯度消失和爆炸，帮助客户端模型逃离尖锐极小值，提升消费电子联邦学习的训练稳定性与模型性能，优于基准算法。

Chuan, Qin · 刘美 · 金龙

IEEE Transactions on Consumer Electronics 2025

参数信息

测试精度

86.60 %

基准精度

84.12 %

技术优势

抑制梯度消失

自适应梯度激活能根据梯度幅值动态调整，避免深层网络训练中的梯度消失问题。

逃离尖锐极小值

帮助客户端模型跳出尖锐的局部最优，从而找到更平坦的极小值，增强泛化能力。

优于主流基准

在大规模消费电子数据集上，该方法比基准算法有显著提升，实验证实了其优越性。

应用场景

• 联邦学习：替换本地训练中的梯度处理模块，提升非IID数据下的全局模型精度。
• 智能消费电子：在手机、可穿戴设备上训练模型时减少梯度不稳定，提高个性化服务质量。
• 边缘计算：在边缘节点上运行联邦学习时防止过拟合，增强模型部署的可靠性。