末迭代点收敛
一种支持六种变体、具有末迭代点收敛保证的自适应随机优化框架，显著扩展了动量算法设计空间。
Ying, Gao · Wenhan, Jiang · Liu, Jinlan · 徐东坡
Pattern Recognition 2027
该框架针对所有六个变体证明了末迭代点的收敛性，而此前多数方法只能保证平均迭代点收敛。
采用不同的动量表示形式构造了六个变体，每个都有收敛保证，大幅拓展了自适应动量算法的设计选择。
在图像分类和自然语言处理任务中，AdaSGM 相比现有优化器获得了更高的准确率和更好的泛化性能。