PS-DAA算法

通信延迟下收敛

一种面向时变有向多智能体网络的分布式策略评估算法，在通信延迟和状态约束下仍可实现次线性收敛，且带赌反馈时性能不降。

Zhou, Yaoyao · 陈刚 · Changli, Pu · Wu, Keyu · Chen, Zhenghua

Neurocomputing 2025

技术优势

有延迟也能收敛

算法显式处理通信延迟，并在时变有向图和状态约束下证明次线性收敛，适用于现实分布式环境。

无需完整梯度

带赌反馈扩展仅使用采样点函数值，证明与全信息方案相比性能不降，降低通信和计算负担。

应用场景

• 分布式强化学习：在通信延迟和时变拓扑下评估策略价值，无需集中协调。
• 多机器人协同：让机器人群在有延迟的有向通信中联合学习策略价值。
• 多智能体系统：为受状态约束的多智能体系统提供可证明收敛的策略评估。