之前提到过Discount Return：

Action-value Function ：

State-value Function:

  （这里将action A积分掉）这里如果策略函数很好，就会很大；反之策略函数不好，就会很小。

对于离散类型：

用神经网络近似策略，

即 学习参数，使得越来越大。这里使用梯度上升的方法，对于一个可观测状态s，更新 

这里称为策略梯度（Policy Gradient）