异步优势演员-评论家算法 A3C

异步优势演员-评论家算法 A3C

异步优势演员-评论家算法 A3C
网络结构
并行步骤

异步优势演员-评论家算法 A3C

A3C 在 A2C 基础上，增加了并行训练（异步）来提高效率。

网络结构

A2C：

A3C：

在这两张图之间，第 2 张图增加了以下几个关键部分：

全局网络（Global Network）：这表明有一个中央网络（可能在服务器上运行），它维护着策略（Policy π(s)）和价值（V(s)）函数。这是模型的核心部分，其训练了共享的策略和价值函数。
多个工作者（Workers）：图中展示了多个工作者（Worker 1, Worker 2, …, Worker n），每个工作者都有自己的网络副本。这些工作者可以并行地在不同的环境实例中探索和学习。
并行环境：与每个工作者相连的是不同的环境实例（Environment 1, Environment 2, …, Environment n）。这意味着每个工作者都可以在自己的环境副本中独立地进行学习，这增加了样本的多样性并加快了训练过程。
异步更新：工作者在自己的环境中收集经验后，会异步地将这些经验反馈给全局网络。这通常涉及到梯度或参数更新。

第一张图是一个单一智能体的演员-评论家架构，没有显示出并行处理或异步更新的特征。

第二张图在第一张图的基础上增加了并行化和分布式计算的概念，这是现代强化学习算法中用于加速训练和提高稳定性的常见技术。

A3C 核心是，通过多个智能体（或称为“工作者”）在不同的环境副本中同时运行来加速学习过程。

并行步骤

A3C 算法的流程：

初始化全局网络：
- 首先，创建一个全局网络，它有两个主要部分：演员（Actor）和评论家（Critic）。
- 演员部分负责输出动作的概率分布。
- 评论家部分负责评估采取某个动作的期望回报。
启动多个工作者：
- 同时启动多个工作者（智能体），每个工作者都有自己的网络副本，这些副本的初始权重来自全局网络。
- 每个工作者都在自己的环境副本中运行，这些环境互不干扰。
工作者独立探索：
- 每个工作者根据自己的网络副本和当前状态来选择动作，并观察结果和奖励。
- 工作者会继续这个过程，直到达到一定的时间步数或者终止条件（例如，完成任务或任务失败）。
计算梯度并更新全局网络：
- 工作者使用其经验（状态、动作、奖励等）来计算梯度。这些梯度用于改进其网络副本。
- 然后，这些梯度被发送到全局网络，并用于更新全局网络的权重。
同步工作者网络：
- 更新全局网络后，工作者将全局网络的新权重复制到自己的网络副本中。
- 这样，所有工作者都可以从全局网络学到的新知识中受益。
重复探索和学习过程：
- 工作者再次开始在其环境中探索，并重复上述过程。
- 这个过程会不断重复，工作者不断探索、学习并更新全局网络。
终止条件：
- 当全局网络达到一定的性能标准，或者经过足够多的更新周期后，算法可以停止。
- 此时，全局网络已经足够好，可以用来做决策或进一步的任务。