频率相似度经验重放

两头抓采样

从被忽视的近策略经验中榨出样本效率，补上经验重放的盲区。

Yu, Jiayu · Li, Jingyao · Lü, Shuai · Han, Shuai

Expert Systems with Applications 2024

技术优势

不浪费近策略经验

给与当前策略高度相关的经验加权，提高采样概率，把原来被忽略的近策略经验充分利用起来。

缓解采样不均衡

同时考虑采样频率，对不常被采样的经验给予更高优先级，减少因经验索引导致的不均衡现象。

超越标准 TD3

将 FSER 与 TD3 结合后，在多个任务上取得了最先进的结果，证明了方法的通用性和有效性。

应用场景

• 机器人技能学习：提升机器人技能学习中的采样效率，减少训练时间。
• 机器人强化学习训练：为机器人强化学习提供更均衡的经验采样，稳定训练过程。
• 工业机器人自适应控制：帮助工业机器人在数据有限时仍能高效利用经验，提升自适应控制效果。
• 软体机器人学习控制：软体机器人训练中，FSER 能更充分利用高频相似经验，加速控制策略收敛。
• 智能自动化系统：在智能自动化系统中，减少无效采样，提升整体学习效率。