高估偏差降88%
通过移动平均双估计器动态平衡高估与低估，显著提升值函数估计准确性。
Tao, Tan · 谢洪 · 夏云霓 · Xiaoyu, Shi · Shang, Mingsheng
Knowledge and Information Systems 2024
与Q学习的1.66高估值相比，AdaMA Q学习仅低估0.196，大幅减少高估。
通过移动平均参数控制第二估计器与第一估计器的依赖程度，从独立到完全相同，从而在两者之间调整。
移动平均参数随状态-动作对访问次数单调增加，无需手动调节。
AdaMA Q学习被扩展为AdaMA DQN，适用于高维环境。