同步积分强化学习控制器

输入饱和下最优一致

专为带输入延迟和饱和的非线性多智能体系统设计，通过模型降阶和近似动态规划，将延迟问题转化为无延迟等价问题，在线学习最优一致性策略。

Chaoyue, Li · 王飞 · 魏云亮 · 张川

European Journal of Control 2025

技术优势

延迟系统转化为无延迟

采用模型降阶方法将带输入延迟的原系统转换为无延迟模型，无需额外补偿器，简化控制器设计并保证等价性能。

输入饱和下最优解即纳什均衡

通过建立非二次型HJB方程，证明其解同时是最优控制策略和纳什均衡，确保存在输入饱和时策略的全局最优性。

在线同步学习无需模型

利用同步积分强化学习算法在线更新执行器-评价器网络权重，仅利用系统轨迹数据学习，无需系统模型先验知识。

应用场景

• 多智能体协同控制：在多智能体协同任务中，处理输入延迟和饱和，保证系统在约束下实现最优一致性。
• 非线性系统控制：采用非二次型HJB方程处理非线性系统输入饱和，在线学习最优控制策略。
• 机器人编队控制：为机器人编队提供延迟和饱和约束下的最优一致性控制器，避免控制输入超限。
• 网络化控制系统：适用于存在通信延迟和执行器饱和的网络化控制系统，在线求解最优控制律。