领导者群体学习率算法

分类精度更高

针对分布式数据并行深度学习，在训练过程中动态探索并优化学习率，充分利用节点的群体智能，提升模型性能。

韦佳 · Xingjun, Zhang · Zhuo, Zhimin · Ji, Zeyu · 魏正 · Li, Jingbo · Qianyang, Li

Information Sciences 2023

参数信息

accuracy on Cifar

100 test

技术优势

不增加搜索开销

利用 DDP 中已有的多节点作为群体，在已搜索到的学习率计划邻域内动态探索，几乎不增加额外训练时间。

精度盖过主流调度

在 WRN(SAM) 上对 CIFAR-10/100 测试，分类准确率高于最新的 SGDR、CLR 和 StepLR。

应用场景

• 深度学习模型训练：替换手工或自动调参得到的静态学习率计划，训练时自动微调提升精度。
• 分布式训练：直接嵌入 DDP 训练流程，利用现有多节点实现群体学习率优化，不额外增加时间。