值迭代
通过上一章的学习，我们知道了贝尔曼最优方程的求解实际上分两部分，一是给定一个初始值
v
k
v_k
vk 找到最优策略
π
k
+
1
π_{k+1}
πk+1 ，二是更新
v
k
+
1
v_{k+1}
vk+1
下面，我们将详细剖析这个算法，以及其编程实现。首先，我们来看一下他的第一步：策略更新
通过给定的
v
k
v_k
vk 可以求得每个状态对应的
q
k
q_k
qk 再根据概率设计得到最优策略下对应的行为
a
k
∗
(
s
)
a_k^*(s)
ak∗(s)
第二步：值更新，同样的，通过给定的
v
k
v_k
vk 求得每个状态对应的
q
k
q_k
qk 再根据最优策略计算得到
v
k
+
1
v_{k+1}
vk+1
通过上面的讲解，我们得到下面的流程过程：
给出上述算法的伪代码，如下：
值迭代：案例
我们以一个例子加深理解。 r 边界 = r 陷阱 = − 1 ， r 终点 = + 1 ， γ = 0.9 r_{边界}=r_{陷阱}=-1，r_{终点}=+1，γ=0.9 r边界=r陷阱=−1，r终点=+1，γ=0.9
当
k
=
0
k=0
k=0
策略迭代
策略迭代分两步：策略评估
(
P
E
)
(PE)
(PE) 和策略优化
(
P
I
)
(PI)
(PI)。
求解
v
π
k
v_{πk}
vπk 有两种方法，第一种矩阵求解一般不用，主要是用第二种迭代的方法。
策略迭代具体步骤如下：
伪代码如下：
策略迭代：案例
同样，我们以一个例子加深理解。
r
边界
=
−
1
，
r
终点
=
+
1
，
γ
=
0.9
r_{边界}=-1，r_{终点}=+1，γ=0.9
r边界=−1，r终点=+1，γ=0.9，行为有：向左
a
l
a_l
al，向右
a
r
a_r
ar，原地
a
0
a0
a0
策略迭代：案例二
截断策略迭代算法
首先我们来比较一下值迭代与策略迭代的区别：
伪代码：
