强化学习——马尔可夫奖励过程的理解

在这里插入图片描述

一、马尔可夫奖励过程

在马尔可夫过程的基础上加入奖励函数 $r$ 和折扣因子 $\gamma$ ，就可以得到马尔可夫奖励过程（Markov reward process）。一个马尔可夫奖励过程由 $<S,P,r,\gamma >$ 构成，各个组成元素的含义如下：

$S$ 是有限状态的集合。
$P$ 是状态转移矩阵。
$r$ 是奖励函数，某个状态 $s$ 的奖励 $r (s)$ 指转移到该状态时可以获得奖励的期望。
$\gamma$ 是折扣因子， $\gamma$ 的取值范围为 $[0, 1)$ 。引入折扣因子的理由为远期利益具有一定不确定性，有时我们更希望能够尽快获得一些奖励，所以我们需要对远期利益打一些折扣。接近 $1$ 的 $\gamma$ 更关注长期的累计奖励，接近 0 的 $\gamma$ 更考虑短期奖励。

1.回报

在一个马尔可夫奖励过程中，回报 $G_{t}$ 是指从某个起始时刻 $t$ 的状态 $S_{t}$ 开始，直到达到终止状态时，所有获得的奖励经过时间衰减后的总和。这种计算方式可以帮助评估在整个过程中的总体收益或成本，对于决策和策略评估尤为重要。

$G_{t}=R_{t}+\gamma R_{t+1}+\gamma^{2}R_{t+2}+\cdots =\sum_{k=0}^{\infty }\gamma^{k}R_{t+k}$

其中， $R_{t}$ 表示在 $t$ 时刻获得的奖励。

在图2中，我们基于之前提到的马尔可夫过程的例子，进一步引入了奖励函数，从而构建成一个马尔可夫奖励过程。在这个过程中，不同状态的进入会带来不同的奖励值。例如，进入状态 $s_{2}$ 会获得奖励 $- 2$ ，这意味着我们通常不希望进入这个状态。相反，进入状态 $s_{4}$ 可以获得最高的奖励，即 $10$ 分。而当进入状态 $s_{6}$ 时，虽然奖励为零，但此时状态序列将终止。这种设置帮助我们了解和评估进入每个状态的奖励或代价。

在这里插入图片描述

图2 马尔可夫奖励过程示例

比如选取 $s_{1}$ 为起始状态，设置 $\gamma=0.5$ ，采样到一条状态序列为 $s_{1} \to s_{2} \to s_{3} \to s_{6}$ ，就可以计算 $s_{1}$ 的回报 $G_{t}$ ，得到 $G_{1}=-1+0.5×(-2)+0.5^{2}×(-2)=-2.5$

图2所示过程的马尔可夫奖励过程的回报计算Python代码如下：

import numpy as np
np.random.seed(0)
# 定义状态转移概率矩阵P
P = [
    [0.9, 0.1, 0.0, 0.0, 0.0, 0.0],
    [0.5, 0.0, 0.5, 0.0, 0.0, 0.0],
    [0.0, 0.0, 0.0, 0.6, 0.0, 0.4],
    [0.0, 0.0, 0.0, 0.0, 0.3, 0.7],
    [0.0, 0.2, 0.3, 0.5, 0.0, 0.0],
    [0.0, 0.0, 0.0, 0.0, 0.0, 1.0],
]
P = np.array(P)

rewards = [-1, -2, -2, 10, 1, 0]  # 定义奖励函数
gamma = 0.5  # 定义折扣因子


# 给定一条序列,计算从某个索引（起始状态）开始到序列最后（终止状态）得到的回报
def compute_return(start_index, chain, gamma):
    G = 0
    for i in reversed(range(start_index, len(chain))):
        G = gamma * G + rewards[chain[i] - 1]
    return G


# 一个状态序列,s1-s2-s3-s6
chain = [1, 2, 3, 6]
start_index = 0
G = compute_return(start_index, chain, gamma)
print("根据本序列计算得到回报为：%s。" % G)

2.价值函数

在马尔可夫奖励过程中，从某个状态出发所能获得的未来累积奖励的期望（即期望回报）被称为该状态的价值。这种期望值反映了一个状态的总体益处或收益。我们将这些价值整合成一个称为价值函数的概念。价值函数将某个状态作为输入，并输出该状态的价值。这种函数是评估不同状态在长期收益上的重要性和效用的关键工具。价值函数写为： $V(s)=\mathbb{E}[G_{t}|S_{t}=s]$ ，可展开为：

在这里插入图片描述

在上述方程的最后一个等号中，我们可以看到两部分内容。首先，即时奖励的期望值正是奖励函数给出的值，表示为 $\mathbb{E}[R_{t}|S_{t}=s]=r(s)$ 。其次，方程中的剩余部分表示从状态 $s$ 出发，根据各个转移概率计算未来奖励的期望值，这可以用 $\mathbb{E}[\gamma V(S_{t+1})|S_{t}=s]$ 表达。这个部分将当前状态到其他可能状态的转移概率与那些状态的价值相乘，然后求和，从而计算出从状态 $s$ 出发的期望未来回报。可以得到：