尽管目前深度Q学习取得了一些突破(如上图所示)，目前仍存在一些因素制约深度强化学习的应用:

(1) 智能体不具备不同任务之间的泛化能力, 在面对全新的任务时, 需要重新进行训练；

(2) 模型稳定性和收敛性难以得到保证；

(3) 智能体为了能够适应环境往往需要与环境进行大量交互, 每次交互除了会增加时间和成本, 还会带来风险；

……

Breakout.gif

Mario.gif

本文主要解决第三个问题，即如何减少智能体与环境的交互次数，提升深度Q学习样本效率。经验回放是强化学习中十分常见的一种技术，即智能体在与环境交互的过程中，将交互产生的样本保存到经验池中，训练时从中采样，这样可以打破样本间的相关性，使得训练过程更加稳定。

在智能体训练时主动选择那些对训练有促进作用的样本可以显著提升样本效率, 典型方法有优先经验回放, 利用样本训练产生的误差 (Temporal-Difference error, TD-error) 作为优先级, 提高已采集样本的利用效率, 加快收敛。

哪些样本对训练有更大的促进作用, 如何从已采集的样本中选择这样的样本是本文研究的问题。本文在分析样本所在序列获得的累积回报对深度强化学习效果影响的基础上, 提出了二次主动采样方法. 首先, 通过计算经验池中序列的累积回报,根据序列累积回报的分布对序列进行优先采样, 然后, 在被采样的序列中以 TD-error 的分布对样本进行优先采样. 两次采样在分别考量累积回报大的

序列中的样本对学习的促进作用和 TD-error 大的样本对 Q 网络的收敛加速作用的同时, 在经验池中累积回报小序列中的样本和 TD-error 值小的样本以较小的概率被采样, 从而保证了训练样本的多样性。

实验环境

最终本文在Atari视频游戏上验证了我们的方法，实验结果表明，相比于其它方法，比如深度Q学习，深度双Q学习等，本文提出的二次主动采样方法能够实现更高的样本效率，同时能够取得更高的分数。