去中心化策略优化框架

数百智能体可伸缩

利用局部观测实现全局信息的准确估计,在有限采样数据下单调改进策略。

Chengdong, Ma · 李阿明 · Du, Yali · 董豪 · Yaodong, Yang

Nature Machine Intelligence 2024

技术优势

不用海量通信

通过智能体级拓扑解耦,将全局动态分解到各节点,仅凭局部观测即可准确估计全局信息,避免全局同步通信。

采样数据省很多

引入模型学习来强化最优策略,确保性能单调提升,对采样数据的需求大幅降低。

性能只升不降

优化过程保证回报单调递增,每一步都不会比之前更差。

数百智能体跑得动

在真实系统实验中展示了在数百个智能体规模下的可扩展性,突破传统方法的规模瓶颈。

应用场景