更快收敛
相比现有优化器,该算法在基准数据集上实现更快收敛和更好泛化。
Helei, Kang · 74932374 · Liu, Jinlan · 徐东坡
Knowledge-Based Systems 2025
内层动量加速可以跳过锐区域、找到更平坦区域,外层NAG加速加快优化轨迹推进,实验显示MNSAM在多个基准上收敛速度超过现有最优优化器。
MNSAM有效找到更平坦区域,从而提升模型泛化性能,在CIFAR-10/100和ImageNet-1K上实验验证优于现有优化器。
MNSAM的PyTorch代码已开源,可直接集成到现有训练流程中,无需修改模型架构。