深度强化学习(六)(改进价值学习)

一.经验回放

把智能体与环境交互的记录(即经验)储存到 一个数组里，事后反复利用这些经验训练智能体。这个数组被称为经验回放数组（replay buffer）。

具体来说, 把智能体的轨迹划分成 $\left(s_t,a_t,r_t,s_{t+1}\right)$ 这样的四元组, 存入一个数组。需要人为指定数组的大小 (记作 $b$ )。数组中只保留最近 $b$ 条数据; 当数组存满之后, 删除掉最旧的数据。数组的大小 $b$ 是个需要调的超参数, 会影响训练的结果。通常设置 $b$ 为 $10^5\sim 10^6$ 。

在实践中，要等回放数组中有足够多的四元组时，才开始做经验回放更新DQN。

• 经验回放的一个好处在于打破序列的相关性。训练 DQN 的时候, 每次我们用一个四元组对 DQN 的参数做一次更新。我们希望相邻两次使用的四元组是独立的。然而当智能体收集经验的时候, 相邻两个四元组 $\left(s_t,a_t,r_t,s_{t+1}\right)$ 和 $\left(s_{t+1},a_{t+1},r_{t+1},s_{t+2}\right)$ 有很强的相关性。依次使用这些强关联的四元组训练 DQN, 效果往往会很差。经验回放每次从数组里随机抽取一个四元组, 用来对 DQN 参数做一次更新。这样随机抽到的四元组都是独立的, 消除了相关性。
• 经验回放的另一个好处是重复利用收集到的经验, 而不是用一次就丢弃, 这样可以用更少的样本数量达到同样的表现。

需要注意, 并非所有的强化学习方法都允许重复使用过去的经验。经验回放数组里的数据全都是用行为策略 (behavior policy) 控制智能体收集到的。在收集经验同时, 我们也在不断地改进策略。策略的变化导致收集经验时用的行为策略是过时的策略, 不同于当前我们想要更新的策略——即目标策略（target policy）。也就是说，经验回放数组中的经验通常是过时的行为策略收集的, 而我们真正想要学的目标策略不同于过时的行为策略。

有些强化学习方法允许行为策略不同于目标策略。这样的强化学习方法叫做异策略 (off-policy)。比如 $\mathrm{Q}$ 学习、确定策略梯度 (DPG) 都属于异策略。由于它们允许行为策略不同于目标策略, 过时的行为策略收集到的经验可以被重复利用。经验回放适用于异策略。

二.优先经验回放

优先经验回放给每个四元组一个权重, 然后根据权重做非均匀随机抽样。如果 DQN 对 $\left(s_j,a_j\right)$ 的价值判断不准确, 即 $Q\left(s_j,a_j;\mathbf{w}\right)$ 离 $Q_{\star }\left(s_j,a_j\right)$ 较远,则四元组 $\left(s_j,a_j,r_j,s_{j+1}\right)$ 应当有较高的权重。

因此, 要是 $\left|Q\left(s_j,a_j;\mathbf{w}\right)-Q_{\star }\left(s_j,a_j\right)\right|$ 较大, 则应该给样本 $\left(s_j,a_j,r_j,s_{j+1}\right)$ 较高的权重。然而实际上我们不知道 $Q_{\star }$, 因此无从得知 $\left|Q\left(s_j,a_j;\mathbf{w}\right)-Q_{\star }\left(s_j,a_j\right)\right|$ 。不妨把它替换成 TD 误差。回忆一下, TD 误差的定义是:
$${\delta }_j\triangleq Q\left(s_j,a_j;{\mathbf{w}}_{\text{now }}\right)-\underset{\text{即 TD 目标 }}{\underbrace{\left[r_t+\gamma \cdot \underset{a\in \mathcal{A}}{\max }Q\left(s_{j+1},a;{\mathbf{w}}_{\text{now }}\right)\right]}}.$$

如果 TD 误差的绝对值 $\left|{\delta }_j\right|$ 大, 说明 DQN 对 $\left(s_j,a_j\right)$ 的真实价值的评估不准确, 那么应该给 $\left(s_j,a_j,r_j,s_{j+1}\right)$ 设置较高的权重。

优先经验回放对数组里的样本做非均匀抽样。四元组 $\left(s_j,a_j,r_j,s_{j+1}\right)$ 的权重是 TD 误差的绝对值 $\left|{\delta }_j\right|$ 。有两种方法设置抽样概率。一种抽样概率是:
$$p_j\propto \left|{\delta }_j\right|+ϵ.$$

此处的 $ϵ$ 是个很小的数, 防止抽样概率接近零, 用于保证所有样本都以非零的概率被抽到。另一种抽样方式先对 $\left|{\delta }_j\right|$ 做降序排列, 然后计算
$$p_j\propto \frac{1}{\mathrm{rank}(j)}.$$

此处的 $\mathrm{rank}(j)$ 是 $\left|{\delta }_j\right|$ 的序号。大的 $\left|{\delta }_j\right|$ 的序号小, 小的 $\left|{\delta }_j\right|$ 的序号大。两种方式的原理是一样的, $\left|{\delta }_j\right|$ 大的样本被抽样到的概率大。

优先经验回放做非均匀抽样, 四元组 $\left(s_j,a_j,r_j,s_{j+1}\right)$ 被抽到的概率是 $p_j$ 。对于那些更重要的样本，被抽中的次数更多，参数更新的次数越多，为使更新效果更好可以适当减小学习率，适当减小学习率可以使得更新方向更精准，同时也使样本的被抽中得概率$p_j$不会剧烈下降，保证更新次数。可以这样设置学习率：
$${\alpha }_j=\frac{\alpha }{{\left(b\cdot p_j\right)}^{\beta }},$$
$\text { 此处的 } b \text { 是经验回放数组中样本的总数, } \beta \in(0,1) \text { 是个需要调的超参数 } $

三.高估问题

设 $x_1,\cdots ,x_d$ 为任意 $d$ 个实数。往 $x_1$, $\cdots ,x_d$ 中加入任意均值为零的随机噪声, 得到 $Z_1,\cdots ,Z_d$, 它们是随机变量, 随机性来源于随机噪声。我们有如下不等式
$$\mathbb{E}\left[\max \left(Z_1,\cdots ,Z_d\right)\right]\ge \max \left(x_1,\cdots ,x_d\right)$$
proof：利用琴生不等式，我们有$\mathbb{E}[f(x)]\ge f(\mathbb{E}[x])$,如果$f(x)$是一个凸函数。而$\text{max}(x_1,x_2,\dots ,x_d)$显然是凸的。

这个不等式意味着先加入均值为零的噪声，然后求最大值，会产生高估。

假设对于所有的动作 $a\in \mathcal{A}$ 和状态 $s\in \mathcal{S},\mathrm{DQN}$ 的输出是真实价值 $Q_{\star }(s,a)$ 加上均值为零的随机噪声 $ϵ$ :
$$Q(s,a;\mathbf{w})=Q_{\star }(s,a)+ϵ.$$

显然 $Q(s,a;\mathbf{w})$ 是对真实价值 $Q_{\star }(s,a)$ 的无偏估计。有这个不等式:
$${\mathbb{E}}_{ϵ}\left[\underset{a\in \mathcal{A}}{\max }Q(s,a;\mathbf{w})\right]\ge \underset{a\in \mathcal{A}}{\max }{Q}_{\star }(s,a).$$

公式说明哪怕 DQN 是对真实价值的无偏估计, 但是如果求最大化, DQN 就会高估真实价值。复习一下, TD 目标是这样算出来的:
$${\hat{y}}_j=r_j+\gamma \cdot \underset{\text{高估 }{\max }_{a\in \mathcal{A}}{Q}_{\star }\left(s_{j+1},a\right)}{\underbrace{\underset{a\in \mathcal{A}}{\max }Q\left(s_{j+1},a;\mathbf{w}\right)}}.$$

这说明 TD 目标 ${\hat{y}}_j$ 通常是对真实价值 $Q_{\star }\left(s_j,a_j\right)$ 的高估。TD 算法鼓励 $Q\left(s_j,a_j;\mathbf{w}\right)$ 接近 $\mathrm{TD}$ 目标 ${\hat{y}}_j$, 这会导致 $Q\left(s_j,a_j;\mathbf{w}\right)$ 高估真实价值 $Q_{\star }\left(s_j,a_j\right)$ 。高估再通过自举的方式传给下一项。

想要避免DQN的高估，要么切断自举，要么避免最大化造成高估

四.使用目标网络

想要切断自举，可以用另一个神经网络计算TD目标，而不是用DQN自己计算TD目标。另一个神经网络被称作目标网络（target network）。把目标网络记作：
$$Q\left(s,a;{\mathbf{w}}^{-}\right)$$
设DQN和目标网络当前的参数分别为$w_{now}$和$w_{now}^{-}$

执行下面的步骤对参数做一次更新：

1. 对 DQN 做正向传播, 得到:
   $${\hat{q}}_j=Q\left(s_j,a_j;{\mathbf{w}}_{\text{now }}\right).$$
2. 对目标网络做正向传播, 得到
   $${\hat{q}}_{j+1}^{-}=\underset{a\in \mathcal{A}}{\max }Q\left(s_{j+1},a;{\mathbf{w}}_{\text{now }}^{-}\right).$$
3. 计算 TD 目标和 TD 误差:
   $${\hat{y}}_j=r_j+\gamma \cdot {\hat{q}}_{j+1}^{-}\text{ 和 }{\delta }_j={\hat{q}}_j-{\hat{y}}_j.$$
4. 对 DQN 做反向传播, 得到梯度 ${\nabla }_{\mathbf{w}}Q\left(s_j,a_j;{\mathbf{w}}_{\text{now }}\right)$ 。
5. 做梯度下降更新 DQN 的参数：
   $${\mathbf{w}}_{\text{new }}\leftarrow {\mathbf{w}}_{\text{now }}-\alpha \cdot {\delta }_j\cdot {\nabla }_{\mathbf{w}}Q\left(s_j,a_j;{\mathbf{w}}_{\text{now }}\right).$$
6. 设 $\tau \in (0,1)$ 是需要手动调的超参数。做加权平均更新目标网络的参数:

$${\mathbf{w}}_{\text{new }}^{-}\leftarrow \tau \cdot {\mathbf{w}}_{\text{new }}+(1-\tau )\cdot {\mathbf{w}}_{\text{now }}^{-}.$$

五.双Q学习

双Q学习总体上可以认为将选则与求值进行了解耦操作，缓解了高估问题

回顾一下 $\mathrm{Q}$ 学习算法中的 TD 目标:
$${\hat{y}}_j=r_j+\gamma \cdot \underset{a\in \mathcal{A}}{\max }Q\left(s_{j+1},a;\mathbf{w}\right).$$

不妨把最大化拆成两步:

1. 选择一一即基于状态 $s_{j+1}$, 选出一个动作使得 DQN 的输出最大化:
   $$a^{\star }=\underset{a\in \mathcal{A}}{\mathrm{argmax}}Q\left(s_{j+1},a;\mathbf{w}\right).$$
2. 求值一一即计算 $\left(s_{j+1},a^{\star }\right)$ 的价值, 从而算出 TD 目标:
   $${\hat{y}}_j=r_j+Q\left(s_{j+1},a^{\star };\mathbf{w}\right).$$

以上是原始的 $\mathrm{Q}$ 学习算法, 选择和求值都用 $\mathrm{DQN}$ 。上一节改进了 $\mathrm{Q}$ 学习, 选择和求值都用目标网络：

• 选择 : $a^{-}=\underset{a\in \mathcal{A}}{\mathrm{argmax}}Q\left(s_{j+1},a;{\mathbf{w}}^{-}\right)$,
• 求值: ${\hat{y}}_j^{-}=r_j+Q\left(s_{j+1},a^{-};{\mathbf{w}}^{-}\right)$.

本节介绍双 $\mathrm{Q}$ 学习, 第一步的选择用 DQN, 第二步的求值用目标网络:

• 选择: $a^{\star }=\underset{a\in \mathcal{A}}{\mathrm{argmax}}Q\left(s_{j+1},a;\mathbf{w}\right)$,
• 求值 : ${\tilde{y}}_j=r_j+Q\left(s_{j+1},a^{\star };{\mathbf{w}}^{-}\right)$.

不难证明出这个不等式:
$$\underset{\text{双 }\mathrm{Q}\text{ 学习 }}{\underbrace{Q\left(s_{j+1},a^{\star };{\mathbf{w}}^{-}\right)}}\le \underset{\text{用目标网络的 }\mathrm{Q}\text{ 学习 }}{\underbrace{\underset{a\in \mathcal{A}}{\max }Q\left(s_{j+1},a;{\mathbf{w}}^{-}\right)}}.$$

因此,
$$\underset{\text{双 }\mathrm{Q}\text{ 学习 }}{\underbrace{{\tilde{y}}_t}}\le \underset{\text{用目标网络的 }\mathrm{Q}\text{ 学习 }}{\underbrace{{\tilde{y}}_t^{-}}}.$$

这个公式说明双 $\mathrm{Q}$ 学习得到的 TD 目标更小。也就是说, 与用目标网络的 $\mathrm{Q}$ 学习相比,双 Q 学习缓解了高估。