---

前言

MARL基础算法第三类基于策略的学习

---

一、基于策略方法的提出

目前为止方法总体就是评估价值函数，基于价值函数更新策略，这些方法都具有一定的限制，如JAL-SG不能有效收敛到均衡状态，而虚拟博弈不能收敛到随机策略分布的情况，因此基于策略的方法提出，利用数据直接优化联合策略。

二、普遍的梯度上升的更新方法

首先根据智能体i的策略采取对智能体j的动作后得到的效益函数
$\begin{array}{rl}{U}_i({\pi }_i,a_j)& =\sum _{a_i\in A_i}{\pi }_i(a_i){\mathcal{R}}_i(a_i,a_j).\end{array}$
针对${\pi }_i$求偏导

根据第k轮episode当中的策略以及其他智能体采取的动作进行更新

更新的第一步是无约束的梯度上升，通过投影算子将更新后的策略投影到有效的空间内
其中，$P(x)=\arg {\min }_{x^{\prime }\in \Delta (A_i)}||x-x^{\prime }||$