深度强化学习（DRL）

本文是学习笔记，如有侵权，请联系删除。本文在ChatGPT辅助下完成。

参考链接

Deep Reinforcement Learning官方链接：https://github.com/wangshusen/DRL

源代码链接：https://github.com/DeepRLChinese/DeepRL-Chinese

B站视频：【王树森】深度强化学习(DRL)

豆瓣: 深度强化学习

价值学习高级技巧

前面介绍了 DQN, 并且用 Q学习算法训练 DQN。如果用最原始的 Q 学习算法，那么训练出的 DQN 效果会很不理想。想要提升 DQN 的表现，需要用本章的高级技巧。文献中已经有充分实验结果表明这些高级技巧对 DQN 非常有效，而且这些技巧不冲突，可以一起使用。有些技巧并不局限于DQN，而是可以应用于多种价值学习和策略学习方法。

介绍经验回放 (experience replay) 和优先经验回放(prioritized experience replay)。讨论 DQN 的高估问题以及解决方案——目标网络(target network) 和双 Q 学习算法(double Q-learning)。

介绍两种方法改进 DQN 的神经网络结构 (不是对 Q 学习算法的改进)：对决网络 (dueling network),它把动作价值 (action value) 分解成状态价值(state value) 与优势 (advantage)；噪声网络 (noisy net), 它往神经网络的参数中加入随机噪声,鼓励探索。

经验回放

经验回放(experience replay)是强化学习中一个重要的技巧， 可以大幅提升强化学习的表现。经验回放的意思是把智能体与环境交互的记录 (即经验) 储存到一个数组里，事后反复利用这些经验训练智能体。这个数组被称为经验回放数组 (replay buffer)。

具体来说，把智能体的轨迹划分成$(s_t,a_t,r_t,s_{t+1})$这样的四元组，存入一个数组。需要人为指定数组的大小 (记作 $b$)。数组中只保留最近 $b$ 条数据；当数组存满之后，删除掉最旧的数据。数组的大小$b$ 是个需要调的超参数，会影响训练的结果。通常设置 $b$ 为$10^5\sim 10^6$。

在实践中，要等回放数组中有足够多的四元组时，才开始做经验回放更新 DQN。根据论文的实验分析，如果将 DQN 用于 Atari 游戏，最好是在收集到 20 万条四元组时才开始做经验回放更新 DQN; 如果是用更好的 Rainbow DQN, 收集到 8 万条四元组时就可以开始更新 DQN。在回放数组中的四元组数量不够的时候，DQN 只与环境交互， 而不去更新 DQN 参数，否则实验效果不好。

经验回放的优点

经验回放的一个好处在于打破序列的相关性。训练 DQN 的时候，每次我们用一个四元组对 DQN 的参数做一次更新。我们希望相邻两次使用的四元组是独立的。然而当智能体收集经验的时候，相邻两个四元组 $(s_t,a_t,r_t,s_{t+1})$ 和 $(s_{t+1},a_{t+1},r_{t+1},s_{t+2})$ 有很强的相关性。依次使用这些强关联的四元组训练 DQN, 效果往往会很差。经验回放每次从数组里随机抽取一个四元组，用来对 DQN 参数做一次更新。这样随机抽到的四元组都是独立的，消除了相关性。

经验回放的另一个好处是重复利用收集到的经验、而不是用一次就丢弃，这样可以用更少的样本数量达到同样的表现。重复利用经验、不重复利用经验的收敛曲线通常如图 6.2 所示。图的横轴是样本数量，纵轴是平均回报。

注 在阅读文献的时候请注意“样本数量"(sample complexity) 与“更新次数"两者的区别。样本数量是指智能体从环境中获取的奖励 $r$ 的数量。而一次更新的意思是从经验回放数组里取出一个或多个四元组，用它对参数$w$ 做一次更新。通常来说，样本数量更重要， 因为在实际应用中收集经验比较困难。比如，在机器人的应用中， 需要在现实世界做一次实验才能收集到一条经验，花费的时间和金钱远大于做一次计算。相对而言，做更新的次数不是那么重要，更新次数只会影响训练时的计算量而已。

经验回放的局限性

需要注意，并非所有的强化学习方法都允许重复使用过去的经验。经验回放数组里的数据全都是用行为策略 (behavior policy) 控制智能体收集到的。在收集经验同时，我们也在不断地改进策略。策略的变化导致收集经验时用的行为策略是过时的策略，不同于当前我们想要更新的策略——即目标策略(target policy)。也就是说，经验回放数组中的经验通常是过时的行为策略收集的，而我们真正想要学的目标策略不同于过时的行为策略。

有些强化学习方法允许行为策略不同于目标策略。这样的强化学习方法叫做异策略(off-policy)。比如 $\mathbb{Q}$ 学习、确定策略梯度 (DPG) 都属于异策略。由于它们允许行为策略不同于目标策略，过时的行为策略收集到的经验可以被重复利用。经验回放适用于异策略。

有些强化学习方法要求行为策略与目标策略必须相同。这样的强化学习方法叫做同策略 (on-policy)。比如 SARSA、REINFORCE、A2C 都属于同策略。它们要求经验必须是当前的目标策略收集到的，而不能使用过时的经验。经验回放不适用于同策略。

优先经验回放

优先经验回放 (prioritized experience replay) 是一种特殊的经验回放方法，它比普通的经验回放效果更好：既能让收敛更快，也能让收敛时的平均回报更高。经验回放数组里有 $b$ 个四元组，普通经验回放每次均匀抽样得到一个样本——即四元组 $(s_j,a_j,r_j,s_{j+1})$. 用它来更新 DQN 的参数。优先经验回放给每个四元组一个权重，然后根据权重做非均匀随机抽样。如果 DQN 对 $(s_j,a_j)$ 的价值判断不准确，即 $Q(s_j,a_j;\mathbf{w})$ 离 $Q_{\star }(s_j,a_j)$ 较远，则四元组 $(s_j,a_j,r_j,s_{j+1})$ 应当有较高的权重。

为什么样本的重要性会有所不同呢？设想你用强化学习训练一辆无人车。经验回放数组中的样本绝大多数都是车辆正常行驶的情形，只有极少数样本是意外情况，比如旁边车辆强行变道、行人横穿马路、警察封路要求绕行。数组中的样本的重要性显然是不同的。绝大多数的样本都是车辆正常行驶，而且正常行驶的情形很容易处理，出错的可能性非常小。意外情况的样本非常少，但是又极其重要，处理不好就会车毁人亡。所以意外情况的样本应当有更高的权重，受到更多关注。这两种样本不应该同等对待。

如何自动判断哪些样本更重要呢？举个例子，自动驾驶中的意外情况数量少、而且难以处理，导致 DQN 的预测 $Q(s_j,a_j;\mathbf{w})$ 严重偏离真实价值 $Q_{\star }(s_j,a_j)$。因此，要是$\left|Q(s_j,a_j;\mathbf{w})-Q_{\star }(s_j,a_j)\right|$较大，则应该给样本 $(s_j,a_j,r_j,s_{j+1})$ 较高的权重。然而实际上我们不知道$Q_{\star }$,因此无从得知$\left|Q(s_j,a_j;\mathbf{w})-Q_{\star }(s_j,a_j)\right|$。不妨把它替换成 TD 误差。回忆一下，TD 误差的定义是：
$$\begin{array}{rcl}{\delta }_j& \stackrel{\Delta }{=}& Q(s_j,a_j;{\mathbf{w}}_{\mathrm{now}})-\underset{\text{即 TP 目标}}{\underbrace{\left[r_t+\gamma \cdot \underset{a\in \mathcal{A}}{\max }Q(s_{j+1},a;{\mathbf{w}}_{\mathrm{now}})\right]}}.\end{array}$$

如果 TD 误差的绝对值 $|{\delta }_j|$ 大，说明 DQN 对 $(s_j,a_j)$ 的真实价值的评估不准确，那么应该给 $(s_j,a_j,r_j,s_{j+1})$ 设置较高的权重。

优先经验回放对数组里的样本做非均匀抽样。四元组 $(s_j,a_j,r_j,s_{j+1})$ 的权重是 TD 误差的绝对值 $|{\delta }_j|$。有两种方法设置抽样概率。一种抽样概率是：

$$p_j\propto |{\delta }_j|+ϵ.$$

此处的$ϵ$是个很小的数，防止抽样概率接近零，用于保证所有样本都以非零的概率被抽到。另一种抽样方式先对 $|{\delta }_j|$ 做降序排列，然后计算

$$p_j\propto \frac{1}{\mathrm{rank}(j)}.$$

此处的$\mathrm{rank}(j)$ 是$|{\delta }_j|$的序号。大的$|{\delta }_j|$的序号小，小的$|{\delta }_j|$的序号大。两种方式的原理是一样的，$|{\delta }_j|$大的样本被抽样到的概率大。

优先经验回放做非均匀抽样，四元组 $(s_j,a_j,r_j,s_{j+1})$ 被抽到的概率是$p_j$。抽样是非均匀的，不同的样本有不同的抽样概率，这样会导致 DQN 的预测有偏差。应该相应调整学习率，抵消掉不同抽样概率造成的偏差。TD 算法用“随机梯度下降”来更新参数：

$$w_{\mathrm{new}}\leftarrow w_{\mathrm{now}}-\alpha \cdot g,$$

此处的α是学习率，$g$ 是损失函数关于 $w$ 的梯度。如果用均匀抽样，那么所有样本有相同的学习率 $\alpha$。如果做非均匀抽样的话，应该根据抽样概率来调整学习率 $\alpha$。如果一条样本被抽样的概率大，那么它的学习率就应该比较小。可以这样设置学习率：

$${\alpha }_j=\frac{\alpha }{(b\cdot p_j{)}^{\beta }},$$

此处的 $b$ 是经验回放数组中样本的总数，$\beta \in (0,1)$ 是个需要调的超参数（论文里建议一开始让 $\beta$ 比较小，最终增长到 1）。

注 均匀抽样是一种特例，即所有抽样概率都相等$:p_1=\cdots =p_b=\frac{1}{b}$。在这种情况下，有 $(b\cdot p_j{)}^{\beta }=1$, 因此学习率都相同$:{\alpha }_1=\cdots ={\alpha }_b={\alpha }_o$

注 读者可能会问下面的问题。如果样本 $(s_j,a_j,r_j,s_{j+1})$ 很重要，它被抽到的概率 $p_j$ 很大，可是它的学习率却很小。当 $\beta =1$ 时，如果抽样概率 $p_j$ 变大 10 倍，则学习率 ${\alpha }_j$ 减小 10 倍。抽样概率、学习率两者岂不是抵消了吗，那么优先经验回放有什么意义呢？大抽样概率、小学习率两者其实并没有抵消，因为下面两种方式并不等价：

• 设置学习率为$\alpha$,使用样本$(s_j,a_j,r_j,s_{j+1})$ 计算一次梯度，更新一次参数 $w$ ;
• 设置学习率为 $\frac{\alpha }{10}$, 使用样本 $(s_j,a_j,r_j,s_{j+1})$ 计算十次梯度，更新十次参数 $w$。

乍看起来两种方式区别不大，但其实第二种方式是对样本更有效的利用。第二种方式的缺点在于计算量大了十倍，所以第二种方式只被用于重要的样本。

优先经验回放数组如图 6.3 所示。设 $b$ 为数组大小，需要手动调整。如果样本 (即四元组) 的数量超过了$b$,那么要删除最旧的样本。数组里记录了四元组、TD 误差、抽样概率、以及学习率。注意，数组里存的 TD 误差 ${\delta }_j$ 是用很多步之前过时的 DQN 参数计算出来的：

$${\delta }_j=Q(s_j,a_j;{\mathbf{w}}_{\mathrm{old}})-[r_t+\gamma \cdot \underset{a\in \mathcal{A}}{\max }Q(s_{j+1},a;{\mathbf{w}}_{\mathrm{old}}\left)\right].$$
做经验回放的时候，每次取出一个四元组，用它计算出新的 TD 误差：

$${\delta }_j^{\prime }=Q(s_j,a_j;w_{\mathrm{now}})-[r_t+\gamma \cdot \underset{a\in \mathcal{A}}{\max }Q(s_{j+1},a;{\mathbf{w}}_{\mathrm{now}}\left)\right],$$

然后用它更新 DQN 的参数。用这个新的 ${\delta }_j^{\prime }$ 取代数组中旧的 ${\delta }_j$。

高估问题及解决方法

Q 学习算法有一个缺陷：用 Q 学习训练出的 DQN 会高估真实的价值，而且高估通常是非均匀的。这个缺陷导致 DQN 的表现很差。高估问题并不是 DQN 模型的缺陷，而是 Q 学习算法的缺陷。$\mathbb{Q}$ 学习产生高估的原因有两个：第一，自举导致偏差的传播；第二，最大化导致 TD 目标高估真实价值。为了缓解高估，需要从导致高估的两个原因下手，改进$\mathbb{Q}$学习算法。双$\mathbb{Q}$学习算法是一种有效的改进，可以大幅缓解高估及其危害。

自举导致偏差的传播

在强化学习中，自举意思是“用一个估算去更新同类的估算”,类似于“自己把自己给举起来”。我们在前面的笔记中讨论过 SARSA 算法中的自举。下面回顾训练 DQN 用的 Q学习算法，研究其中存在的自举。算法每次从经验回放数组中抽取一个四元组 $(s_j,a_j,r_j,s_{j+1})$。然后执行以下步骤，对 DQN 的参数做一轮更新：

1.计算TD目标：
$${\hat{y}}_j=r_j+\gamma \cdot \underset{\text{DQN 自己做出的估计}}{\underbrace{\underset{a_{j+1}\in \mathcal{A}}{\max }Q(s_{j+1},a_{j+1};{\mathbf{w}}_{\mathrm{now}})}}$$

2.定义损失函数
$$L(\mathbf{w})=\frac{1}{2}[\underset{\text{让DQN 拟合}\widehat{y_j}}{\underbrace{Q(s_j,a_j;\mathbf{w})-\widehat{y_j}}}{]}^2.$$

3.把${\hat{y}}_j$看做常数，做一次梯度下降更新参数：

$$w_{\mathrm{new}}\leftarrow w_{\mathrm{now}}-\alpha \cdot {\nabla }_{\mathbf{w}}L({\mathbf{w}}_{\mathrm{now}}).$$

第一步中的 TD 目标 ${\hat{y}}_j$ 部分基于 DQN 自己做出的估计。第二步让 DQN 去拟合 ${\hat{y}}_j$。这就意味着我们用了 DQN 自己做出的估计去更新 DQN 自己，这属于自举。

自举对 DQN 的训练有什么影响呢？$Q(s,a;w)$ 是对价值 $Q_{\star }(s,a)$ 的近似，最理想的情况下，$Q(s,a;\mathbf{w})=Q_{\star }(s,a)$,$\forall s,a$。假如碰巧$Q(s_{j+1},a_{j+1};\mathbf{w})$低估(或高估)真实价值 $Q_{\star }(s_{j+1},a_{j+1})$, 则会发生下面的情况：
$$\begin{array}{cccc}& Q(s_{j+1},a_{j+1};\mathbf{w})& \text{低估(或高估)}& Q_{\star }(s_{j+1},a_{j+1})\\ ⟹& \widehat{y_j}& \text{低估(或高估)}& Q_{\star }(s_j,a_j)\\ ⟹& Q(s_j,a_j;\mathbf{w})& \text{低估(或高估)}& Q_{\star }(s_j,a_j).\end{array}$$

如果 $Q(s_{j+1},a_{j+1};\mathbf{w})$ 是对真实价值 $Q_{\star }(s_{j+1},a_{j+1})$ 的低估 (或高估), 就会导致$Q(s_j,a_j;\mathbf{w})$ 低估 (或高估) 价值$Q_{\star }(s_j,a_j)$。也就是说低估 (或高估) 从 $(s_{j+1},a_{j+1})$传播到 $(s_j,a_j)$, 让更多的价值被低估 (或高估)。

最大化导致高估

首先用数学解释为什么最大化会导致高估。设$x_1,\cdots ,x_d$ 为任意 $d$ 个实数。往 $x_1$, $\cdots ,x_d$ 中加入任意均值为零的随机噪声，得到 $Z_1,\cdots ,Z_d$, 它们是随机变量，随机性来源于随机噪声。很容易证明均值为零的随机噪声不会影响均值：
$$\mathbb{E}\left[\text{mean}\left(Z_1,\cdots ,Z_d\right)\right]=\mathrm{mean}\left(x_1,\cdots ,x_d\right).$$

用稍微复杂一点的证明，可以得到：

$$\mathbb{E}\left[\max \left(Z_1,\cdots ,Z_d\right)\right]\ge \max \left(x_1,\cdots ,x_d\right).$$

公式中的期望是关于噪声求的。这个不等式意味着先加入均值为零的噪声，然后求最大值，会产生高估。

假设对于所有的动作$a\in \mathcal{A}$ 和状态 $s\in \mathcal{S}$, DQN 的输出是真实价值$Q_{\star }(s,a)$ 加上均值为零的随机噪声 $ϵ:$

$$Q\left(s,a;\mathbf{w}\right)=Q_{\star }(s,a)+ϵ.$$

显然$Q(s,a;\mathbf{w})$ 是对真实价值$Q_{\star }(s,a)$ 的无偏估计。然而有这个不等式：
$${\mathbb{E}}_{ϵ}[\underset{a\in \mathcal{A}}{\max }Q(s,a;\mathbf{w})]\ge \underset{a\in \mathcal{A}}{\max }{Q}_{\star }(s,a).$$
公式说明哪怕 DQN 是对真实价值的无偏估计，但是如果求最大化，DQN 就会高估真实价值。复习一下，TD 目标是这样算出来的：
$${\hat{y}}_j=r_j+\gamma \cdot \underset{\text{高估}{\max }_{a\in \mathcal{A}}{Q}_{\star }(s_{j+1},a)}{\underbrace{\underset{a\in \mathcal{A}}{\max }Q(s_{j+1},a;\mathbf{w})}}.$$

这说明 TD 目标 ${\hat{y}}_j$ 通常是对真实价值 $Q_{\star }(s_j,a_j)$ 的高估。TD 算法鼓励 $Q(s_j,a_j;\mathbf{w})$ 接近TD 目标 ${\hat{y}}_j$, 这会导致 $Q(s_j,a_j;w)$ 高估真实价值 $Q_{\star }(s_j,a_j)$。

即使 DQN 是真实价值 $Q_{\star }$ 的无偏估计，只要 DQN 不恒等于 $Q_{\star }$, TD 目标就会高估真实价值。TD 目标是高估，而$\mathbb{Q}$学习算法鼓励 DQN 预测接近 TD 目标，因此DQN 会出现高估。

高估的危害

我们为什么要避免高估？高估真的有害吗？如果高估是均匀的，则高估没有危害；如果高估非均匀，就会有危害。举个例子，动作空间是 A = { 左，右，上 } A= \{ 左，右，上\} A={左，右，上}。给定当前状态 $s$, 每个动作有一个真实价值：
$$Q_{\star }(s,\text{左})=200,Q_{\star }(s,\text{右})=100,Q_{\star }(s,\text{上})=230.$$

智能体应当选择动作“上”,因为“上”的价值最高。假如高估是均匀的，所有的价值都被高估了100：

$$Q(s,左;\mathbf{w})=300,Q(s,\mathbf{t};\mathbf{w})=200,Q(s,\text{上};\mathbf{w})=330.$$
那么动作“上”仍然有最大的价值，智能体会选择“上”。这个例子说明高估本身不是问题， 只要所有动作价值被同等高估。

但实践中，所有的动作价值会被同等高估吗？每当取出一个四元组 $(s,a,r,s^{\prime })$ 用来更新一次 DQN, 就很有可能加重 DQN 对 $Q_{\star }(s,a)$ 的高估。对于同一个状态 $s$, 三种组合$(s,左)$、$(s,右)$、$(s,上)$出现在经验回放数组中的频率是不同的，所以三种动作被高估的程度是不同的。假如动作价值被高估的程度不同，比如

$$Q(s,\text{左};\mathbf{w})=280,Q(s,\text{右};\mathbf{w})=300,Q(s,\text{上};\mathbf{w})=260,$$

那么智能体做出的决策就是向右走，因为“右”的价值貌似最高。但实际上“右”是最差的动作，它的实际价值低于其余两个动作。

综上所述，用$\mathbb{Q}$学习算法训练 DQN 总会导致 DQN 高估真实价值。对于多数的 $s\in S$ 和 $a\in \mathcal{A}$, 有这样的不等式：

$$Q(s,a;\mathbf{w})>Q_{\star }(s,a).$$

高估本身不是问题，真正的麻烦在于DQN 的高估往往是非均匀的。如果 DQN 有非均匀的高估，那么用 DQN 做出的决策是不可靠的。我们已经分析过导致高估的原因：

• TD 算法属于“自举”,即用 DQN 的估计值去更新 DQN 自己。自举会导致偏差的传播。如果$Q(s_{j+1},a_{j+1};\mathbf{w})$ 是对$Q_{\star }(s_{j+1},a_{j+1})$ 的高估，那么高估会传播到 $(s_j,a_j{)}_j$ 让$Q(s_j,a_j;\mathbf{w})$ 高估$Q_{\star }(s_j,a_j)$。自举导致 DQN 的高估从一个二元组 $(s,a)$ 传播到更多的二元组。

• TD 目标 $\hat{y}$ 中包含一项最大化，这会导致 TD 目标高估真实价值 $Q_{\star }$。Q 学习算法鼓励 DQN 的预测接近 TD 目标，因此 DQN 会高估 $Q_{\star }$。

找到了产生高估的原因，就可以想办法解决问题。想要避免 DQN 的高估，要么切断自举，要么避免最大化造成高估。注意，高估并不是 DQN 自身的属性，高估纯粹是算法造成的。想要避免高估，就要用更好的算法替代原始的 Q 学习算法。

使用目标网络

上文已经讨论过，切断“自举”可以避免偏差的传播，从而缓解 DQN 的高估。回顾一下，Q 学习算法这样计算 TD 目标：
$${\hat{y}}_j=r_j+\underset{\text{DQN做出的估计}}{\underbrace{\gamma \cdot \underset{a\in \mathcal{A}}{\max }Q(s_{j+1},a;\mathbf{w})}}.$$

然后做梯度下降更新$w$,使得$Q(s_j,a_j;\mathbf{w})$更接近${\hat{y}}_j$。想要切断自举，可以用另一个神经网络计算 TD 目标，而不是用 DQN 自己计算 TD 目标。另一个神经网络被称作目标网络 (target network) 。把目标网络记作：

$$Q(s,a;{\mathbf{w}}^{-}).$$

它的神经网络结构与 DQN 完全相同，但是参数$w^{-}$ 不同于 $w$。

使用目标网络的话，Q 学习算法用下面的方式实现。每次随机从经验回放数组中取一个四元组，记作$(s_j,a_j,r_j,s_{j+1})$。设 DQN 和目标网络当前的参数分别为$w_{\mathrm{now}}$ 和$\overline{w_{\mathrm{now}}}$,

执行下面的步骤对参数做一次更新：
1.对 DQN 做正向传播，得到：
$${\hat{q}}_j=Q(s_j,a_j;{\mathbf{w}}_{\mathrm{now}}).$$

2.对目标网络做正向传播，得到
$${\hat{q}}_{j+1}^{-}=\underset{a\in \mathcal{A}}{\max }Q(s_{j+1},a;{\mathbf{w}}_{\mathrm{now}}^{-}).$$

3.计算 TD 目标和 TD 误差：
$${\hat{y}}_j^{-}=r_j+\gamma \cdot {\hat{q}}_{j+1}^{-}\text{和}{\delta }_j={\hat{q}}_j-{\hat{y}}_j^{-}.$$

4.对 DQN 做反向传播，得到梯度 ${\nabla }_{w}Q(s_j,a_j;{\mathbf{w}}_{\mathrm{now}})$。

5.做梯度下降更新 DQN 的参数：
$${\mathbf{w}}_{\mathrm{new}}\leftarrow {\mathbf{w}}_{\mathrm{now}}-\alpha \cdot {\delta }_j\cdot {\nabla }_{\mathbf{w}}Q(s_j,a_j;{\mathbf{w}}_{\mathrm{now}}).$$

6.设 $\tau \in (0,1)$ 是需要手动调的超参数。做加权平均更新目标网络的参数：
$$\overline{w_{\mathrm{new}}}\leftarrow \tau \cdot {\mathbf{w}}_{\mathrm{new}}+\left(1-\tau \right)\cdot {\mathbf{w}}_{\mathrm{now}}^{-}.$$

如图 6.4 (左) 所示，原始的 Q学习算法用 DQN 计算 $\hat{y}$,然后拿 $\hat{y}$ 更新 DQN 自己， 造成自举。如图 6.4(右)所示，可以改用目标网络计算$\hat{y}$,这样就避免了用 DQN 的估计更新 DQN 自己，降低自举造成的危害。然而这种方法不能完全避免自举，原因是目标网络的参数仍然与 DQN 相关。

双 Q 学习算法

造成 DQN 高估的原因不是 DQN 模型本身的缺陷，而是 Q 学习算法有不足之处：第一，自举造成偏差的传播；第二，最大化造成 TD 目标的高估。在 Q 学习算法中使用目标网络，可以缓解自举造成的偏差，但是无助于缓解最大化造成的高估。本小节介绍双$\mathbb{Q}$ 学习 (double Q learning) 算法，它在目标网络的基础上做改进，缓解最大化造成的高估。

注 本小节介绍的双 Q 学习算法在文献中被称作 double DQN, 缩写 DDQN。本书不采用DDQN这名字，因为这个名字比较误导。双 Q 学习 (即所谓的 DDQN) 只是一种 TD 算法而已，它可以把 DQN 训练得更好。双 Q 学习并没有用区别于 DQN 的模型。本节中的模型只有一个，就是 DQN。我们讨论的只是训练 DQN 的三种 TD 算法：原始的 Q 学习、 用目标网络的 Q 学习、双 Q 学习。

为了解释原始的 Q 学习、用目标网络的 Q 学习、以及双 Q 学习三者的区别，我们再回顾一下Q 学习算法中的 TD 目标：
$${\hat{y}}_j=r_j+\gamma \cdot \underset{a\in \mathcal{A}}{\max }Q\left(s_{j+1},a;\mathbf{w}\right).$$

不妨把最大化拆成两步：
1.选择——即基于状态 $s_{j+1}$,选出一个动作使得 DQN 的输出最大化：

$$a^{\star }=\underset{a\in \mathcal{A}}{\mathrm{argmax}}Q\left(s_{j+1},a;\mathbf{w}\right).$$

2.求值——即计算 $(s_{j+1},a^{\star })$ 的价值，从而算出 TD 目标：
$${\hat{y}}_j=r_j+Q(s_{j+1},a^{\star };\mathbf{w}).$$

以上是原始的 Q 学习算法，选择和求值都用 DQN。上一小节改进了 Q 学习，选择和求值都用目标网络：
$$\begin{array}{rc}\text{选择:}& {a^{-}=\mathrm{argmax}}_{a\in \mathcal{A}}Q(s_{j+1},a;{\mathbf{w}}^{-}),\\ \text{求值:}& {\tilde{y}}_j=r_j+Q(s_{j+1},{\mathbf{a}}^{-};{\mathbf{w}}^{-}).\end{array}$$

本小节介绍双 Q 学习，第一步的选择用 DQN, 第二步的求值用目标网络：

$$\begin{array}{rc}\text{选择:}& {a^{\star }=\mathrm{argmax}}_{a\in \mathcal{A}}Q(s_{j+1},a;\mathbf{w}),\\ \text{求值:}& {\tilde{y}}_j=r_j+Q(s_{j+1},{\mathbf{a}}^{\star };{\mathbf{w}}^{-}).\end{array}$$

为什么双 Q 学习可以缓解最大化造成的高估呢？不难证明出这个不等式：

$$\underset{\text{双 Q 学习}}{\underbrace{Q(s_{j+1},a^{\star };{\mathbf{w}}^{-})}}\le \underset{\text{用目标网络的 Q 学习}}{\underbrace{\underset{a\in \mathcal{A}}{\max }Q(s_{j+1},a;{\mathbf{w}}^{-})}}.$$

因此，

$$\underset{\text{双Q学习}}{\underbrace{{\tilde{y}}_t}}\le \underset{\text{用目标网络的 Q 学习}}{\underbrace{\widehat{y_t}}}.$$

这个公式说明双 Q 学习得到的 TD 目标更小。也就是说，与用目标网络的 Q 学习相比， 双 Q学习缓解了高估。

双 Q 学习算法的流程如下。每次随机从经验回放数组中取出一个四元组，记作 ($s_j$, $a_j,r_j,s_{j+1})$。设 DQN 和目标网络当前的参数分别为 $w_{\mathrm{now}}$ 和 $w_{\mathrm{now}}^{-}$, 执行下面的步骤对参数做一次更新：

1.对 DQN 做正向传播，得到：

$${\hat{q}}_j=Q(s_j,a_j;{\mathbf{w}}_{\mathrm{now}}).$$

2.选择：

$$a^{\star }=\underset{a\in \mathcal{A}}{\mathrm{argmax}}Q\left(s_{j+1},a;{\mathbf{w}}_{\mathrm{now}}\right).$$

3.求值：

$${\hat{q}}_{j+1}=Q(s_{j+1},a^{\star };\overline{{\mathbf{w}}_{\mathbf{now}}}).$$

4.计算 TD 目标和 TD 误差：
$${\tilde{y}}_j=r_j+\gamma \cdot {\hat{q}}_{j+1}\text{和}{\delta }_j={\hat{q}}_j-{\tilde{y}}_j.$$
5.对 DQN 做反向传播，得到梯度 ${\nabla }_{w}Q(s_j,a_j;w_{\mathrm{now}})$。

6.做梯度下降更新 DQN 的参数：
$$w_{\mathrm{new}}\leftarrow w_{\mathrm{now}}-\alpha \cdot {\delta }_j\cdot {\nabla }_{\mathbf{w}}Q(s_j,a_j;{\mathbf{w}}_{\mathrm{now}}).$$

7.设 $\tau \in (0,1)$ 是需要手动调整的超参数。做加权平均更新目标网络的参数：
$$\overline{w_{\mathrm{new}}}\leftarrow \tau \cdot w_{\mathrm{new}}+\left(1-\tau \right)\cdot {\mathbf{w}}_{\mathrm{now}}^{-}.$$

总结

本节研究了 DQN 的高估问题以及解决方案。DQN 的高估不是 DQN 模型造成的，不是 DQN 的本质属性。高估只是因为原始 Q 学习算法不好。Q 学习算法产生高估的原因有两个：第一，自举导致偏差从一个 $(s,a)$ 二元组传播到更多的二元组；第二，最大化造成 TD 目标高估真实价值。

想要解决高估问题，就要从自举、最大化这两方面下手。本节介绍了两种缓解高估的算法：使用目标网络、双Q 学习。Q 学习算法与目标网络的结合可以缓解自举造成的偏差。双$\mathbb{Q}$学习基于目标网络的想法，进一步将 TD 目标的计算分解成选择和求值两步， 缓解了最大化造成的高估。图 6.5 总结了本节研究的三种算法。

注 如果使用原始 Q 学习算法，自举和最大化都会造成严重高估。在实践中，应当尽量使用双 Q 学习，它是三种算法中最好的。

注 如果使用 SARSA 算法 (比如在 actor-critic 中), 自举的问题依然存在，但是不存在最大化造成高估这一问题。对于 SARSA, 只需要解决自举问题，所以应当将目标网络应用到 SARSA 。

对决网络 (Dueling Network)

本节介绍对决网络 (dueling network), 它是对 DQN 的神经网络结构的改进。它的基本想法是将最优动作价值 $Q_{\star }$ 分解成最优状态价值$V_{\star }$ 加最优优势 $D_{\star }$。对决网络的训练与 DQN 完全相同，可以用 Q 学习算法或者双 Q 学习算法 。

最优优势函数

在介绍对决网络 (dueling network)之前，先复习一些基础知识。动作价值函数$Q_{\pi }(s,a)$ 是回报的期望：

$$Q_{\pi }(s,a)=\mathbb{E}\left[U_t\right|S_t=s,A_t=a].$$

最优动作价值$Q_{\star }$的定义是：

$$Q_{\star }(s,a)=\underset{\pi }{\max }{Q}_{\pi }(s,a),\forall s\in \mathcal{S},a\in \mathcal{A}.$$

状态价值函数$V_{\pi }(s)$ 是$Q_{\pi }(s,a)$ 关于$a$ 的期望：

$$V_{\pi }(s)={\mathbb{E}}_{A\sim \pi }[Q_{\pi }(s,A)].$$

最优状态价值函数$V_{\star }$的定义是：

$$V_{\star }\left(s\right)=\underset{\pi }{\max }{V}_{\pi }\left(s\right),\forall s\in \mathcal{S}.$$

最优优势函数 (optimal advantage function) 的定义是：

$$\boxed{D_{\star }(s,a)\triangleq Q_{\star }(s,a)-V_{\star }(s).}$$

通过数学推导，可以证明下面的定理：

$$Q_{\star }(s,a)=V_{\star }(s)+D_{\star }(s,a)-\underset{\text{恒等于零}}{\underbrace{\underset{a\in \mathcal{A}}{\max }{D}_{\star }(s,a)}}\forall s\in \mathcal{S},a\in \mathcal{A}.$$

对决网络

与 DQN 一样，对决网络 (dueling network) 也是对最优动作价值函数 $Q_{\star }$ 的近似。对决网络与 DQN 的区别在于神经网络结构不同。直观上，对决网络可以了解到哪些状态有价值或者没价值，而无需了解每个动作对每个状态的影响。实践中，对决网络具有更好的效果。由于对决网络与 DQN 都是对 $Q_{\star }$ 的近似，可以用完全相同的算法训练两种神经网络。

对决网络由两个神经网络组成。一个神经网络记作 $D(s,a;w^D)$, 它是对最优优势函数$D_{\star }(s,a)$ 的近似。另一个神经网络记作$V(s;w^V)$,它是对最优状态价值函数$V_{\star }(s)$ 的近似。把定理 6.1 中的 $D_{\star }$ 和$V_{\star }$ 替换成相应的神经网络，那么最优动作价值函数 $Q_{\star }$ 就被近似成下面的神经网络：

$$Q(s,a;\mathbf{w})\triangleq V(s;{\mathbf{w}}^V)+D(s,a;{\mathbf{w}}^D)-\underset{a\in \mathcal{A}}{\max }D(s,a;{\mathbf{w}}^D).(6.1)$$

公式左边的 $Q(s,a;\mathbf{w})$ 就是对决网络，它是对最优动作价值函数 $Q_{\star }$ 的近似。它的参数记作$w\triangleq (w^V;w^D)$。

对决网络的结构如图 6.6 所示。

可以让两个神经网络 $D(s,a;w^D)$ 与$V(s;w^V)$ 共享部分卷积层；这些卷积层把输入的状态 $s$ 映射成特征向量，特征向量是“优势头”与“状态价值头”的输入。优势头输出一个向量，向量的维度是动作空间的大小 $|A|$, 向量每个元素对应一个动作。举个例子，动作空间是$A= { $左，右，上$} $。优势头的输出是三个值：
$$D(s,\text{左};{\mathbf{w}}^D)=-90,D(s,\text{右};{\mathbf{w}}^D)=-420,D(s,\text{上};{\mathbf{w}}^D)=30.$$

状态价值头输出的是一个实数，比如

$$V(s;{\mathbf{w}}^V)=300.$$

首先计算

$$\underset{a}{\max }D(s,a;{\mathbf{w}}^D)=\max \{-90,-420,30\}=30.$$

然后用公式 (6.1) 计算出：

$$Q(s,\text{左};\mathbf{w})=180,Q(s,\text{右};\mathbf{w})=-150,Q(s,\text{上};\mathbf{w})=300.$$

这样就得到了对决网络的最终输出。

解决不唯一性

读者可能会有下面的疑问。对决网络是由定理 6.1 推导出的，而定理中最右的一项恒等于零：
$$\underset{a\in \mathcal{A}}{\max }{D}_{\star }(s,a)=0,\forall s\in \mathcal{S}.$$
也就是说，可以把最优动作价值写成两种等价形式：

$$\begin{array}{cccc}{Q}_{\star }(s,a)& =& V_{\star }(s)+D_{\star }(s,a)& \text{(第一种形式)}\\ & =& V_{\star }(s)+D_{\star }(s,a)-{\max }_{a\in \mathcal{A}}{D}_{\star }(s,a).& \text{(第二种形式)}\end{array}$$

之前我们根据第二种形式实现对决网络。我们可否根据第一种形式，把对决网络按照下面的方式实现呢：

$$Q(s,a;\mathbf{w})=V(s;{\mathbf{w}}^V)+D(s,a;{\mathbf{w}}^D)?$$

答案是不可以这样实现对决网络，因为这样会导致不唯一性。假如这样实现对决网络，那么$V$ 和 $D$ 可以随意上下波动，比如一个增大 100, 另一个减小 100:

$$\begin{array}{rcl}V(s;{\tilde{\mathbf{w}}}^V)& \triangleq & V(s;{\mathbf{w}}^V)+100,\\ & & \\ D(s,a;{\tilde{\mathbf{w}}}^D)& \triangleq & D(s,a;{\mathbf{w}}^D)-100.\end{array}$$

这样的上下波动不影响最终的输出：

$$V(s;{\mathbf{w}}^V)+D(s,a;{\mathbf{w}}^D)=V(s;{\tilde{\mathbf{w}}}^V)+D(s,a;{\tilde{\mathbf{w}}}^D).$$

这就意味着$V$和$D$的参数可以很随意地变化，却不会影响输出的 Q。我们不希望这种情况出现，因为这会导致训练的过程中参数不稳定。

因此很有必要在对决网络中加入${\max }_{a\in \mathcal{A}}D(s,a;{\mathbf{w}}^D)$ 这一项。它使得$V$ 和$D$ 不能随意上下波动。假如让$V$变大 100,让$D$ 变小 100, 则对决网络的输出会增大 100,而非不变：

$$V(s;{\tilde{\mathbf{w}}}^V)+D(s,a;{\tilde{\mathbf{w}}}^D)-\underset{a}{\max }D(s,a;{\tilde{\mathbf{w}}}^D)$$

$$=V(s;{\mathbf{w}}^V)+D(s,a;{\mathbf{w}}^D)-\underset{a}{\max }D(s,a;{\mathbf{w}}^D)+100.$$

以上讨论说明了为什么${\max }_{a\in \mathcal{A}}D(s,a;w^D)$这一项不能省略。

对决网络的实际实现

按照定理 6.1, 对决网络应该定义成：
$$Q(s,a;\mathbf{w})\triangleq V(s;{\mathbf{w}}^V)+D(s,a;{\mathbf{w}}^D)-\underset{a\in \mathcal{A}}{\max }D(s,a;{\mathbf{w}}^D).$$

最右边的 max 项的目的是解决不唯一性。实际实现的时候，用 mean 代替 $\max$ 会有更好的效果。所以实际 上会这样定义对决网络：

$$\boxed{Q(s,a;\mathbf{w})\triangleq V(s;{\mathbf{w}}^V)+D(s,a;{\mathbf{w}}^D)-mea{n}_{a\in \mathcal{A}}D(s,a;{\mathbf{w}}^D).}$$
对决网络与 DQN 都是对最优动作价值函数 $Q_{\star }$ 的近似，所以对决网络的训练和决策与 DQN 完全一样。比如可以这样训练对决网络：

• 用 $ϵ$-greedy 算法控制智能体，收集经验，把 $(s_j,a_j,r_j,s_{j+1})$ 这样的四元组存入经验回放数组。
• 从数组里随机抽取四元组，用双 Q 学习算法更新对决网络参数 $\mathbf{w}=({\mathbf{w}}^D,{\mathbf{w}}^V)$。

完成训练之后，基于当前状态$s_t$,让对决网络给所有动作打分，然后选择分数最高的动作：
$$a_t={\mathrm{argmax}}_{a\in \mathcal{A}}Q(s_t,a;\mathbf{w}).$$

简而言之，怎么样训练 DQN,就怎么样训练对决网络；怎么样用 DQN 做控制，就怎么样用对决网络做控制。如果一个技巧能改进 DQN 的训练，这个技巧也能改进对决网络。同样的道理，因为 Q 学习算法导致 DQN 出现高估，所以 Q 学习算法也会导致对决网络出现高估。

噪声网络

本节介绍噪声网络(noisy net),这是一种非常简单的方法，可以显著提高 DQN 的表现。噪声网络的应用不局限于 DQN, 它可以用于几乎所有的深度强化学习方法。

噪声网络的原理

把神经网络中的参数 $w$ 替换成$\mu +\sigma \circ \xi$。此处的 $\mu 、\sigma 、\xi$ 的形状与 $w$ 完全相同。$\mu$、$\sigma$ 分别表示均值和标准差，它们是神经网络的参数，需要从经验中学习。$\xi$ 是随机噪声，它的每个元素独立从标准正态分布 $\mathcal{N}(0,1)$ 中随机抽取。符号“$\circ$”表示逐项乘积。

如果 $w$ 是向量，那么有
$$w_i={\mu }_i+{\sigma }_i\cdot {\xi }_i.$$

如果 $w$ 是矩阵，那么有

$$w_{ij}={\mu }_{ij}+{\sigma }_{ij}\cdot {\xi }_{ij}.$$

噪声网络的意思是参数$w$ 的每个元素 $w_i$ 从均值为 ${\mu }_i$、标准差为 ${\sigma }_i$ 的正态分布中抽取。

举个例子，某一个全连接层记作：

$$z=\mathrm{ReLU}(\mathbf{Wx}+\mathbf{b}).$$

公式中的向量$x$ 是输入，矩阵$W$ 和向量$b$ 是参数，ReLU 是激活函数，$z$ 是这一层的输出。噪声网络把这个全连接层替换成：

$$z=\mathrm{ReLU}\left(\left(W^{\mu }+W^{\sigma }\circ W^{\xi }\right)x+\left(b^{\mu }+b^{\sigma }\circ b^{\xi }\right)\right).$$

公式中的$W^{\mu }$、$W^{\sigma }$、$b^{\mu }$、$b^{\sigma }$是参数，需要从经验中学习。矩阵$W^{\xi }$ 和向量$b^{\xi }$ 的每个元素都是独立从 $\mathcal{N}(0,1)$ 中随机抽取的，表示噪声。

训练噪声网络的方法与训练标准的神经网络完全相同，都是做反向传播计算梯度，然后用梯度更新神经参数。把损失函数记作$L$。已知梯度$\frac{\partial L}{\partial z}$,可以用链式法则算出损失关于参数的梯度：

$$\begin{array}{rc}\frac{\partial L}{\partial W^{\mu }}=\frac{\partial z}{\partial W^{\mu }}\cdot \frac{\partial L}{\partial z},& \frac{\partial L}{\partial b^{\mu }}=\frac{\partial z}{\partial b^{\mu }}\cdot \frac{\partial L}{\partial z},\\ \frac{\partial L}{\partial W^{\sigma }}=\frac{\partial z}{\partial W^{\sigma }}\cdot \frac{\partial L}{\partial z},& \frac{\partial L}{\partial b^{\sigma }}=\frac{\partial z}{\partial b^{\sigma }}\cdot \frac{\partial L}{\partial z}.\end{array}$$

然后可以做梯度下降更新参数$W^{\mu }$、$W^{\sigma }$、$b^{\mu }$、$b^{\sigma }$。

噪声 DQN

噪声网络可以用于 DQN。标准的 DQN 记作 $Q(s,a;\mathbf{w})$, 其中的 $w$ 表示参数。把 $w$ 替换成 $\mu +\sigma \circ \xi$, 得到噪声 DQN, 记作：
$$\tilde{Q}(s,a,\mathbf{\xi };\mathbf{\mu },\mathbf{\sigma })\triangleq Q(s,\mathbf{a};\mathbf{\mu }+\mathbf{\sigma }\circ \mathbf{\xi }).$$

其中的$\mu$和$\sigma$是参数，一开始随机初始化，然后从经验中学习；而$\xi$则是随机生成，每个元素都从 $\mathcal{N}(0,1)$ 中抽取。噪声 DQN 的参数数量比标准 DQN 多一倍。

收集经验：

DQN 属于异策略 (off-policy)。我们用任意的行为策略 (behavior policy) 控制智能体，收集经验，事后做经验回放更新参数。在之前章节中，我们用 $ϵ$-greedy 作为行为策略：
$$a_t=\{\begin{array}{ll}{\mathrm{argmax}}_{a\in \mathcal{A}}Q(s_t,a;\mathbf{w}),& \text{以概率}(1-ϵ);\\ \text{均匀抽取}\mathcal{A}\text{中的一个动作},& \text{以概率}ϵ.\end{array}$$

$ϵ$-greedy 策略带有一定的随机性，可以让智能体尝试更多动作，探索更多状态。
噪声 DQN 本身就带有随机性，可以鼓励探索，起到与 $ϵ$-greedy 策略相同的作用。我们直接用

$$a_t=\underset{a\in \mathcal{A}}{\mathrm{argmax}}\tilde{Q}(s,a,\xi ;\mu ,\sigma )$$

作为行为策略，效果比 $ϵ$-greedy 更好。每做一个决策，要重新随机生成一个$\xi$。

$\mathbb{Q}$学习算法:

训练的时候，每一轮从经验回放数组中随机抽样出一个四元组，记作$(s_j,a_j,r_j,s_{j+1})$。从标准正态分布中做抽样，得到${\xi }^{\prime }$的每一个元素。计算 TD 目标：
$${\hat{y}}_j=r_j+\gamma \cdot \underset{a\in \mathcal{A}}{\max }\tilde{Q}(s_{j+1},a,{\xi }^{\prime };\mu ,\sigma ).$$

把损失函数记作：

$$L(\mathbf{\mu },\mathbf{\sigma })=\frac{1}{2}[\tilde{Q}(s_j,a_j,\mathbf{\xi };\mathbf{\mu },\mathbf{\sigma })-{\hat{y}}_j{]}^2,$$

其中的$\xi$也是随机生成的噪声，但是它与${\xi }^{\prime }$不同。然后做梯度下降更新参数：

$$\mu \leftarrow \mu -{\alpha }_{\mu }\cdot {\nabla }_{\mu }L(\mu ,\sigma ),\sigma \leftarrow \sigma -{\alpha }_{\sigma }\cdot {\nabla }_{\sigma }L(\mu ,\sigma ).$$
公式中的 ${\alpha }_{\mu }$ 和 ${\alpha }_{\sigma }$ 是学习率。这样做梯度下降更新参数，可以让损失函数减小，让噪声DQN 的预测更接近 TD 目标。

做决策 :

做完训练之后，可以用噪声 DQN 做决策。做决策的时候不再需要噪声，因此可以把参数$\sigma$设置成全零，只保留参数$\mu$。这样一来，噪声 DQN 就变成标准的 DQN:

$$\underset{\text{噪声 DQN}}{\underbrace{\tilde{Q}(s,a,{\mathbf{\xi }}^{\prime };\mathbf{\mu },0)}}=\underset{\text{标准 DQN}}{\underbrace{Q(s,a;\mathbf{\mu })}}.$$

在训练的时候往 DQN 的参数中加入噪声，不仅有利于探索，还能增强鲁棒性。鲁棒性的意思是即使参数被扰动，DQN 也能对动作价值 $Q_{\star }$ 做出可靠的估计。为什么噪声可以让DQN 有更强的鲁棒性呢？

假设在训练的过程中不加入噪声。把学出的参数记作$\mu$。当参数严格等于$\mu$ 的时候DQN 可以对最优动作价值做出较为准确的估计。但是对 $\mu$ 做较小的扰动，就可能会让DQN 的输出偏离很远。所谓“失之毫厘，谬以千里”。

噪声 DQN 训练的过程中，参数带有噪声：$w=\mu +\sigma \circ \xi$。训练迫使 DQN 在参数带噪声的情况下最小化 TD 误差，也就是迫使 DQN 容忍对参数的扰动。训练出的 DQN 具有鲁棒性：参数不严格等于 $\mu$ 也没关系，只要参数在 $\mu$ 的邻域内，DQN 做出的预测都应该比较合理。用噪声 DQN, 不会出现“失之毫厘，谬以千里”。

训练流程

实际编程实现 DQN 的时候，应该将本章的四种技巧——优先经验回放、双$\mathbb{Q}$学习、 对决网络、噪声 DQN——全部用到。应该用对决网络的神经网络结构，而不是简单的DQN 结构。往对决网络中的参数 $w$ 中加入噪声，得到噪声 DQN, 记作 $\tilde{Q}(s,a,\xi ;\mu ,\sigma )$。训练要用双 $\mathbb{Q}$ 学习、优先经验回放，而不是原始的 Q 学习。双 Q 学习需要目标网络$\tilde{Q}(s,a,\xi ;{\mu }^{-},{\sigma }^{-})$ 计算 TD 目标。它跟噪声 DQN 的结构相同，但是参数不同。

初始化的时候，随机初始化$\mu 、\sigma$,并且把它们赋值给目标网络参数:${\mu }^{-}\leftarrow \mu .{\sigma }^{-}\leftarrow \sigma$。

然后重复下面的步骤更新参数。把当前的参数记作 ${\mu }_{\mathrm{now}}$、${\sigma }_{\mathrm{now}}$、${\mu }_{\mathrm{now}}^{-}$ ${\sigma }_{\mathrm{now}}^{-}$。

1. 用优先经验回放，从数组中抽取一个四元组，记作 $(s_j,a_j,r_j,s_{j+1})$。
2. 用标准正态分布生成 $\xi$。对噪声 DQN 做正向传播，得到：

$${\hat{q}}_j=\tilde{Q}(s_j,a_j,\xi ;{\mu }_{\mathrm{now}},{\sigma }_{\mathrm{now}}).$$

3. 用噪声 DQN 选出最优动作：

$${\tilde{a}}_{j+1}=\underset{a\in A}{\mathrm{argmax}}\tilde{Q}(s_{j+1},a,\xi ;{\mu }_{\mathrm{now}},{\sigma }_{\mathrm{now}}).$$

4. 用标准正态分布生成 ${\xi }^{\prime }$。用目标网络计算价值：

$${\hat{q}}_{j+1}^{-}=\tilde{Q}(s_{j+1},{\tilde{a}}_{j+1},{\xi }^{\prime };{\mu }_{\mathrm{now}}^{-},{\sigma }_{\mathrm{now}}^{-}).$$

5. 计算 TD 目标和 TD 误差：

$${\hat{y}}_j^{-}=r_j+\gamma \cdot {\hat{q}}_{j+1}^{-}\text{和}{\delta }_j={\hat{q}}_j-{\hat{y}}_j^{-}.$$

6. 设${\alpha }_{\mu }$ 和${\alpha }_{\sigma }$为学习率。做梯度下降更新噪声 DQN 的参数：

$$\begin{array}{rcl}{\mu }_{\mathrm{new}}& \leftarrow & {\mu }_{\mathrm{now}}-{\alpha }_{\mu }\cdot {\delta }_j\cdot {\nabla }_{\mu }\tilde{Q}(s_j,a_j,\xi ;{\mu }_{\mathrm{now}},{\sigma }_{\mathrm{now}}),\\ & & \\ {\sigma }_{\mathrm{new}}& \leftarrow & {\sigma }_{\mathrm{now}}-{\alpha }_{\sigma }\cdot {\delta }_j\cdot {\nabla }_{\sigma }\tilde{Q}(s_j,a_j,\xi ;{\mu }_{\mathrm{now}},{\sigma }_{\mathrm{now}}).\end{array}$$

7. 设 $\tau \in (0,1)$ 是需要手动调整的超参数。做加权平均更新目标网络的参数：

$$\begin{array}{rcl}{\mu }_{\mathrm{new}}^{-}& \leftarrow & \tau \cdot {\mu }_{\mathrm{new}}+\left(1-\tau \right)\cdot {\mu }_{\mathrm{now}}^{-},\\ & & \\ {\sigma }_{\mathrm{new}}^{-}& \leftarrow & \tau \cdot {\sigma }_{\mathrm{new}}+\left(1-\tau \right)\cdot {\sigma }_{\mathrm{now}}^{-}.\end{array}$$

总结

• 经验回放可以用于异策略算法。经验回放有两个好处：打破相邻两条经验的相关性、 重复利用收集的经验。

• 优先经验回放是对经验回放的一种改进。在做经验回放的时候，从经验回放数组中做加权随机抽样，TD 误差的绝对值大的经验被赋予较大的抽样概率、较小的学习率。

• Q 学习算法会造成 DQN 高估真实的价值。高估的原因有两个：第一，最大化造成TD 目标高估真实价值；第二，自举导致高估传播。高估并不是由 DQN 本身的缺陷造成的，而是由于$\mathbb{Q}$学习算法不够好。双$\mathbb{Q}$学习是对 Q 学习算法的改进，可以有效缓解高估。

• 对决网络与 DQN 一样，都是对最优动作价值函数 $Q_{\star }$ 的近似；两者的唯一区别在于神经网络结构。对决网络由两部分组成$:D(s,a;w^D)$ 是对最优优势函数的近似， $V(s;{\mathbf{w}}^V)$ 是对最优状态价值函数的近似。对决网络的训练与 DQN 完全相同。

• 噪声网络是一种特殊的神经网络结构，神经网络中的参数带有随机噪声。噪声网络可以用于DQN 等多种深度强化学习模型。噪声网络中的噪声可以鼓励探索，让智能体尝试不同的动作，这有利于学到更好的策略。

后记

截至2024年1月29日13点41分，学习完价值学习的高级技巧。