马尔可夫跳变Q学习算法

免模型在线学习

针对连续时间线性Itô随机系统的在线策略迭代Q学习算法，无需转移概率和系统矩阵，为马尔可夫跳变系统提供稳定控制。

Ming, Zhongyang · 张化光 · 王迎春 · Jing, Dai

IEEE Transactions on Cybernetics 2024

技术优势

收敛有保证

基于Lyapunov理论严格证明了离线策略迭代算法的收敛性和迭代控制律的可容许性，为在线学习奠定理论基础。

电力系统验证有效

在电力系统仿真中验证了算法有效性，展示了该算法在实际应用中的潜力。

应用场景

• 电力系统控制：应对负荷突变和可再生能源波动，实现无模型自适应稳定控制。
• 随机系统控制：在随机干扰下在线学习最优控制策略，无需精确模型。
• 自适应控制：策略迭代在线更新控制律，自动适应参数跳变和未知动态。