动量加速锐度感知最小化算法

更快收敛

相比现有优化器,该算法在基准数据集上实现更快收敛和更好泛化。

Helei, Kang · 74932374 · Liu, Jinlan · 徐东坡

Knowledge-Based Systems 2025

技术优势

更快收敛

内层动量加速可以跳过锐区域、找到更平坦区域,外层NAG加速加快优化轨迹推进,实验显示MNSAM在多个基准上收敛速度超过现有最优优化器。

泛化更好

MNSAM有效找到更平坦区域,从而提升模型泛化性能,在CIFAR-10/100和ImageNet-1K上实验验证优于现有优化器。

即插即用

MNSAM的PyTorch代码已开源,可直接集成到现有训练流程中,无需修改模型架构。

应用场景