自适应裁剪PPO算法

样本利用更高效

裁剪比率随训练动态调整，在不牺牲稳定更新的前提下利用更多采样数据。

Li, Yao · Tan, Xiaoyang

Engineering Applications of Artificial Intelligence 2025

技术优势

样本利用更充分

裁剪比率根据候选动作的平均概率比增大，使得更多采集到的数据可用于策略优化，提高样本效率。

更新更稳定

当概率比超出范围时降低裁剪比率，有效约束更新幅度，保证策略单调改进。

应用场景

• 机器人控制：提升机器人控制策略训练的稳定性和样本效率。
• 强化学习训练：替换PPO固定裁剪，减少调参并提高数据利用率。
• 仿真到现实迁移：提供更稳定的策略，降低仿真到现实部署的性能落差。