增量SR1拟牛顿法

收敛速度与条件数无关

对称秩一更新使局部超线性收敛速度不再依赖问题条件数，分块更新进一步加速。

75858291 · Luo, Luo · Bryan Kian Hsiang, Low

2024

技术优势

收敛不依赖条件数

对称秩一更新使得局部超线性收敛速度与问题条件数无关，病态问题也能快速收敛。

分块更新更快速

对Hessian近似采用分块更新，带来更快的局部收敛速度，进一步提升算法效率。

显著优于基线方法

数值实验结果表明，所提方法在收敛性能上显著超过基线方法，验证了其有效性。

应用场景

• 大规模机器学习训练：训练大规模机器学习模型时，消除条件数依赖可加快收敛，减少训练时间。
• 机器人轨迹优化：在机器人轨迹优化中，更快的局部收敛速度可实时求解更复杂的轨迹规划问题。
• 有限和凸优化问题求解：直接求解有限和凸优化问题，避免条件数导致的慢收敛，提升求解效率。
• 分布式优化加速：在分布式环境中加速优化算法，减少通信和计算开销。