混合策略离线强化学习

策略效率近最优

用博弈论混合策略将存储需求从无限多个策略降到常数个,同时保证收敛到最优策略,克服了以往离线价值方法无法收敛的问题。

Cai, Tianchi · Jiyan, Jiang · Wenpeng, Zhang · Zhou, Shiji · Xierui, Song · 羽力 · Gu, Lihong · 曾晓东 · Gu, Jinjie · Zhang, Guannan

2023

技术优势

存储开销可接受

用混合策略将存储需求从无限多个策略降至常数个,使工业部署成为可能。

收敛有保证

该方法保证收敛到最优策略,克服了以往离线价值型方法无法收敛的缺陷。

百万级用户验证

在数千万用户、超十亿预算的营销活动中验证,性能超过多个基线,并已部署服务全部流量。

应用场景