深度强化学习（十）（TRPO与PPO）

一.信赖域方法

原问题：
$$\text{maxmize}J(\theta )$$
$J$是个很复杂的函数，我们甚至可能不知道$J$ 的解析表达式（比如$J$ 是某个函数的期望）

现在我们可对$J(\theta )$进行近似成$L(\theta )$,使用$L(\theta )$作为我们的目标函数（比如用均值代替期望），但这个近似仅在一定范围内成立,原问题可转化为以下问题。
$$\begin{array}{rl}\text{maxmize}& L(\theta )\\ \text{s.t}& ||\theta -{\theta }_{now}|{|}^2\le \Delta (\text{仅在}{\theta }_{now}邻域内成立)\end{array}$$
这样求得了新问题的解后，将新问题的解记作${\theta }_{now}$，继续在${\theta }_{now}$邻域内构造新的函数$L^{\prime }(\theta )$使其近似于$J(\theta )$，继续迭代求解。

除此之外，置信域也有多种多样的选择， 既可以是二范数，也可以是两个概率分布的KL散度。

二.TRPO

Theorem:

目标函数 $J(\mathbf{\theta })$ 可以等价写成:
$$J(\mathbf{\theta })={\mathbb{E}}_S\left[{\mathbb{E}}_{A\sim \pi \left(\cdot \mid S;{\mathbf{\theta }}_{\text{now }}\right)}\left[\frac{\pi (A\mid S;\mathbf{\theta })}{\pi \left(A\mid S;{\mathbf{\theta }}_{\text{now }}\right)}\cdot Q_{\pi }(S,A)\right]\right].$$

上面 $Q_{\pi }$ 中的 $\pi$ 指的是 $\pi (A\mid S;\mathbf{\theta })$ 。

Proof:
$$\begin{array}{rl}J(\mathbf{\theta })& ={\mathbb{E}}_{A,S}[Q_{\pi }(S,A)]\\ & ={\mathbb{E}}_S[{\mathbb{E}}_{A\sim \pi (A\mid S;\mathbf{\theta })}[Q_{\pi }(S,A)]]\\ & ={\mathbb{E}}_S[\sum _A{Q}_{\pi }(S,a)\cdot \pi (a\mid S;\mathbf{\theta })]\\ & ={\mathbb{E}}_S[\sum _A{Q}_{\pi }(S,a)\cdot \frac{\pi (A\mid S;\mathbf{\theta })}{\pi \left(A\mid S;{\mathbf{\theta }}_{\text{now }}\right)}\cdot \pi (A\mid S;{\mathbf{\theta }}_{now})]\\ & ={\mathbb{E}}_S\left[{\mathbb{E}}_{A\sim \pi \left(\cdot \mid S;{\mathbf{\theta }}_{\text{now }}\right)}\left[\frac{\pi (A\mid S;\mathbf{\theta })}{\pi \left(A\mid S;{\mathbf{\theta }}_{\text{now }}\right)}\cdot Q_{\pi }(S,A)\right]\right]\end{array}$$
有了以上的结论，我们可以对期望做蒙特卡洛近似，从而把函数$J$近似成函数$L$。用策略网络$\pi (A|S;{\mathbf{\theta }}_{now})$控制智能体跟环境交互，从头到尾玩完一局游戏， 观测到一条轨迹：
$$s_1,a_1,r_1,s_2,a_2,r_2,\cdots ,s_n,a_n,r_n$$
其中的状态 { s t } t = 1 n \left\{s_t\right\}_{t=1}^n {st​}t=1n​ 都是从环境中观测到的, 其中的动作 { a t } t = 1 n \left\{a_t\right\}_{t=1}^n {at​}t=1n​ 都是根据策略网络 $\pi \left(\cdot \mid s_t;{\mathbf{\theta }}_{\text{now }}\right)$ 抽取的样本。所以,
$$\frac{\pi \left(a_t\mid s_t;\mathbf{\theta }\right)}{\pi \left(a_t\mid s_t;{\mathbf{\theta }}_{\text{now }}\right)}\cdot Q_{\pi }\left(s_t,a_t\right)$$

是无偏估计。我们观测到了 $n$ 组状态和动作, 于是应该求平均, 把得到均值记作:
$$L\left(\mathbf{\theta }\mid {\mathbf{\theta }}_{\text{now }}\right)=\frac{1}{n}\sum _{t=1}^n\underset{\text{ 期望的无偏估计 }}{\underbrace{\frac{\pi \left(a_t\mid s_t;\mathbf{\theta }\right)}{\pi \left(a_t\mid s_t;{\mathbf{\theta }}_{\text{now }}\right)}\cdot Q_{\pi }\left(s_t,a_t\right)}}.$$

既然连加里每一项都是期望的无偏估计, 那么 $n$ 项的均值 $L$ 也是无偏估计。所以可以拿 $L$ 作为目标函数 $J$ 的蒙特卡洛近似。

$L\left(\mathbf{\theta }\mid {\mathbf{\theta }}_{\text{now }}\right)$ 是对目标函数 $J(\mathbf{\theta })$ 的近似。可惜我们还无法直接对 $L$ 求最大化, 原因是我们不知道动作价值 $Q_{\pi }\left(s_t,a_t\right)$ 。解决方法是做两次近似:
$$Q_{\pi }\left(s_t,a_t\right)⟹Q_{{\pi }_{\text{old }}}\left(s_t,a_t\right)⟹u_t.$$

公式中 $Q_{\pi }$ 中的策略是 $\pi \left(a_t\mid s_t;\mathbf{\theta }\right)$, 而 $Q_{{\pi }_{\text{old }}}$ 中的策略则是旧策略 $\pi \left(a_t\mid s_t;{\mathbf{\theta }}_{\text{now }}\right)$ 。我们用旧策略 $\pi \left(a_t\mid s_t;{\mathbf{\theta }}_{\text{now }}\right)$ 生成轨迹 { ( s j , a j , r j , s j + 1 ) } j = 1 n \left\{\left(s_j, a_j, r_j, s_{j+1}\right)\right\}_{j=1}^n {(sj​,aj​,rj​,sj+1​)}j=1n​, 所以折扣回报
$$u_t=r_t+\gamma \cdot r_{t+1}+{\gamma }^2\cdot r_{t+2}+\cdots +{\gamma }^{n-t}\cdot r_n$$

是对 $Q_{{\pi }_{\mathrm{old}}}$ 的近似, 而未必是对 $Q_{\pi }$ 的近似。仅当 $\mathbf{\theta }$ 接近 ${\mathbf{\theta }}_{\text{now }}$ 的时候, $u_t$ 才是 $Q_{\pi }$ 的有效近似。这就是为什么要强调置信域, 即 $\mathbf{\theta }$ 在 ${\mathbf{\theta }}_{\text{now }}$ 的邻域中。

三.PPO-惩罚

TRPO求解的原问题是
$$\begin{array}{rl}\text{minmize}& -J(\mathbf{\theta }\mid {\mathbf{\theta }}_{now})\\ \text{s.t}& \text{KL}(\mathbf{\theta }\mid {\mathbf{\theta }}_{now})\le \Delta \end{array}$$
我们通过控制信赖域$\Delta$来获得解。将其转化为等价优化问题,引入拉格朗日乘子$\lambda$
$$\begin{array}{rl}{\text{maxmize}}_{\mathbf{\theta }}{\text{maxmize}}_{\lambda }& J(\mathbf{\theta }\mid {\mathbf{\theta }}_{now})-\lambda (\text{KL}(\mathbf{\theta }\mid {\mathbf{\theta }}_{now})-\Delta )\\ \text{s.t}& \lambda \ge 0\end{array}$$
从上式可看出拉格朗日乘子$\lambda$与$\Delta$一一对应，所以我们可以通过调整$\lambda$间接控制$\Delta$。当给定某一$\lambda \ge 0$时（例如$\lambda =1$），问题可写成
$${\text{maxmize}}_{\theta }J(\mathbf{\theta }\mid {\mathbf{\theta }}_{now})-\lambda \text{KL}(\mathbf{\theta }\mid {\mathbf{\theta }}_{now})$$
这样我们成功的把有约束问题写成无约束形式，但如何选取$\lambda$的值也是一个问题。我们可以分析一下$\Delta$与$\lambda$的关系。

如果信赖域$\Delta$过小（K-L散度过大），$\text{KL}(\mathbf{\theta }\mid {\mathbf{\theta }}_{now})-\Delta \ge 0$,要最大化$J(\mathbf{\theta }\mid {\mathbf{\theta }}_{now})-\lambda (\text{KL}(\mathbf{\theta }\mid {\mathbf{\theta }}_{now})-\Delta )$则$\lambda$只能接近0

如果信赖域$\Delta$过大（K-L散度过小），$\text{KL}(\mathbf{\theta }\mid {\mathbf{\theta }}_{now})-\Delta \le 0$,要最大化$J(\mathbf{\theta }\mid {\mathbf{\theta }}_{now})-\lambda (\text{KL}(\mathbf{\theta }\mid {\mathbf{\theta }}_{now})-\Delta )$则$\lambda$只能接近$+\infty$

所以我们有如下更新规则

令 $d_k=\text{KL}\left({\pi }_{{\theta }_k},{\pi }_{\theta }\right)，\lambda$ 的更新规则如下:

1. 如果 $d_k<\delta /1.5$ ，那么 ${\lambda }_{k+1}={\lambda }_k/2$
2. 如果 $d_k>\delta \times 1.5$ ，那么 ${\lambda }_{k+1}={\lambda }_k\times 2$
3. 否则 ${\lambda }_{k+1}={\lambda }_k$

其中，$\delta$是事先设定的一个超参数，用于限制学习策略和之前一轮策略的差距。

四.PPO-截断

PPO 的另一种形式 PPO-截断（PPO-Clip）更加直接，它在目标函数中进行限制，以保证新的参数和旧的参数的差距不会太大，即：
$$\underset{\theta }{\mathrm{argmax}}{\mathbb{E}}_S\left[{\mathbb{E}}_{A\sim {\pi }_{{\theta }_{now}}(\cdot \mid S)}\left[\min \left(\frac{{\pi }_{\theta }(A\mid S)}{{\pi }_{{\theta }_{now}}(A\mid S)}{A}^{{\pi }_{{\theta }_{now}}}(S,A),\mathrm{clip}\left(\frac{{\pi }_{\theta }(A\mid S)}{{\pi }_{{\theta }_{now}}(A\mid S)},1-ϵ,1+ϵ\right)A^{{\pi }_{{\theta }_{now}}}(S,A)\right)\right]\right]$$
其中$A(S,A)$是优势函数， $\mathrm{clip}(x,l,r):=\max (\min (x,r),l)$ ，即把 $x$ 限制在 $[l,r]$ 内。上式中 $ϵ$ 是一个超参数，表示进行截断 (clip) 的范围。如果 $A(s,a)>0$ ，说明这个动作的价值高于平均，最大化这个式子会增大 $\frac{{\pi }_{\theta }(a\mid s)}{{\pi }_{{\theta }_{now}}(a\mid s)}$ ，但不会让其超过 $1+{ϵ}_{\circ }$ 反之，如果 $A(s,a)<0$ ，说明这个动作的价值低于平均，最大化这个式子会减少 $\frac{{\pi }_{\theta }(a\mid s)}{{\pi }_{{\theta }_{now}}(a\mid s)}$ ，但不会让其小于 $1-ϵ$

)<0$ ，说明这个动作的价值低于平均，最大化这个式子会减少 $\frac{{\pi }_{\theta }(a\mid s)}{{\pi }_{{\theta }_{now}}(a\mid s)}$ ，但不会让其小于 $1-ϵ$