Policy Gradient Methods 是一类直接对策略本身进行参数化并优化的强化学习算法。与基于值函数的方法（如 Q-Learning 和其变种 DQN）不同，策略梯度方法直接学习一个参数化策略，该策略指定了在给定状态下选择每个动作的概率。这些方法使用梯度上升法来优化策略，目的是最大化累积奖励。策略梯度方法特别适用于动作空间是连续的或者策略需要更复杂表示的情况。
1. 基本原理
在策略梯度方法中，策略 πθ(a∣s) 是参数化的，其中 θ 表示策略参数，a 表示动作，s 表示状态。该策略定义了在状态 s 下选择动作 a 的概率。策略梯度方法的目标是找到参数 θ 的最优值，以使得策略的性能最好，即最大化累积奖励的期望值。
2. 优化策略
策略梯度方法通过梯度上升来调整参数 θ，即沿着期望奖励增加最快的方向更新参数。梯度的计算通常依赖于策略梯度定理，该定理提供了一个高效的方式来估计优化策略所需的梯度。具体来说，策略的梯度可以表示为：
其中，J(θ) 是策略性能的目标函数，
表示一条轨迹，T 是轨迹的终点，R(τ) 是轨迹的总奖励。
3. 应用
策略梯度方法在连续动作空间的问题中特别有用，如机器人控制、自动驾驶汽车以及其他需要精细动作控制的领域。这些方法也适用于动作空间离散但非常大的情况，其中基于值的方法可能因状态或动作空间太大而不切实际。
4. 重要变种
- REINFORCE: 一种基本的策略梯度方法，使用蒙特卡洛方法来估计累积奖励。
- Actor-Critic: 结合了策略梯度方法和值函数方法的优点，使用一个“演员”来学习策略和一个“评论家”来估计值函数。
- Proximal Policy Optimization (PPO): 提出了一种在策略更新时保持旧策略与新策略之间的差异在一定范围内的方法，从而提高学习稳定性。
- Trust Region Policy Optimization (TRPO): 通过限制策略更新步骤中的最大变化来确保策略改进的单调性，从而避免在优化过程中出现性能急剧下降。
5. 挑战和改进
尽管策略梯度方法在连续动作空间问题中表现优异，但它们也面临一些挑战，如高方差、样本效率低下和训练稳定性问题。研究者通过引入基线、使用更高级的策略优化算法、以及开发更有效的采样策略等方法来解决这些问题。
