异步并行策略梯度算法

线性加速收敛

多个工作节点异步估计策略梯度并集中更新，在连续时间线性二次调节问题上实现收敛速度的线性加速。

Zhao, Feiran · 沙星宇 · 游科友

IEEE Transactions on Automatic Control 2025

技术优势

线性加速有理论保证

收敛速率随工作节点数量线性提升，理论分析和仿真实验均验证这一性质。

无需梯度信息

采用零阶策略梯度估计，不需要系统模型的梯度信息，易于在无模型或模型未知的场景下实现。

应用场景

• 强化学习训练：加速策略学习收敛，尤其适合大规模并行训练场景。
• 机器人控制优化：支持多机器人协同在线优化控制策略。
• 工业过程控制：提升复杂工业过程自适应控制的效率。