Spark学习

一，Spark是什么

二，Spark的运行模式

三，Spark运行的角色有四类：

四，用户程序从最开始的提交到最终的计算执行，需要经历以下几个阶段：

五，存在Master单点故障（SPOF）的问题。

六，Spark On Yarn的本质

一，Spark是什么

Spark是一款分布式内存计算的统一分析引擎，是一个基于线程的分布式纯计算工具，为了数据共享和提高运行效率。

Spark在处理数据时，可以将中间的处理结果存到内存中，并且提供了丰富的算子API

Spark的核心就是Spark Core，可以进行海量离线数据的批处理计算

二，Spark的运行模式

三，Spark运行的角色有四类：

资源管理层面

管理者：Master角色：管理整个集群的资源，相当于YARN中的ResouceManger

工作中：Worker角色：管理单个服务器的资源，相当于YARN中的NodeManger

某任务管理者：Driver角色，管理单个Spark任务在运行时的工作，相当于YARN中的ApplicationMaster

某任务执行者：Executor角色：单个任务运行时的时候的工作者，相当于YARN容器运行的TASK，具体工作的进程

每一个Spark进程运行时，会绑定到Driver所在机器的4040端口，如果4040被占用，会顺延到4041，4042等

Standalone架构，是Spark自带的一种集群模式，

不同于前面本地模式启动多个进程来模拟集群的环境，Standalone模式是真实地在多个机器之间搭建Spark集群的环境，完全可以利用该模式搭建多机器集群，用于实际的大数据处理。

StandAlone 是完整的Spark运行环境,其中:

Master角色以Master进程存在, Worker角色以Worker进程存在

Driver和Executor运行于Worker进程内, 由Worker提供资源供给它们运行

Master的默认端口为8080，同样如果被占用，会顺延到8081，8082，8083等

18080: 默认是历史服务器的端口, 由于每个程序运行完成后,4040端口就被注销了. 在以后想回看某个程序的运行状态就可以通过历史服务器查看,历史服务器长期稳定运行,可供随时查看被记录的程序的运行过程.

集群模式下程序是在集群上运行的，不要直接读取本地文件，应该读取hdfs上的

因为程序运行在集群上，具体在哪个节点上我们运行并不知道，其他节点可能并没有那个数据文件

从图中可以看到Spark Application运行到集群上时，由两部分组成：Driver Program和Executors。

第一、Driver Program

1.相当于AppMaster，整个应用管理者，负责应用中所有Job的调度执行;

2.运行JVM Process，运行程序的MAIN函数，必须创建SparkContext上下文对象；

3.一个SparkApplication仅有一个；

第二、Executors

1.相当于一个线程池，运行JVM Process，其中有很多线程，每个线程运行一个Task任务，一个Task任务运行需要1 Core CPU，所有可以认为Executor中线程数就等于CPU Core核数；

一个Spark Application可以有多个，可以设置个数和资源信息；

四，用户程序从最开始的提交到最终的计算执行，需要经历以下几个阶段：

1 ）用户程序创建 SparkContext 时，新创建的 SparkContext 实例会连接到 ClusterManager 。 Cluster Manager 会根据用户提交时设置的CPU 和内存等信息为本次提交分配计算资源，启动 Executor 。

2 ） Driver 会将用户程序划分为不同的执行阶段 Stage ，每个执行阶段 Stage 由一组完全相同 Task 组成，这些 Task 分别作用于待处理数据的不同分区。在阶段划分完成和Task 创建后， Driver 会向 Executor 发送 Task ；

3 ） Executor 在接收到 Task 后，会下载 Task 的运行时依赖，在准备好 Task 的执行环境后，会开始执行 Task ，并且将 Task 的运行状态汇报给Driver ；

4 ） Driver 会根据收到的 Task 的运行状态来处理不同的状态更新。 Task 分为两种：一种是 Shuffle Map Task ，它实现数据的重新洗牌，洗牌的结果保存到Executor 所在节点的文件系统中；另外一种是 Result Task ，它负责生成结果数据；

5 ） Driver 会不断地调用 Task ，将 Task 发送到 Executor 执行，在所有的 Task 都正确执行或者超过执行次数的限制仍然没有执行成功时停止；

一个Spark Application 中，包含多个 Job ，每个 Job 有多个 Stage 组成，每个 Job 执行按照 DAG 图进行的。

其中每个 Stage 中包含多个 Task 任务，每个 Task 以线程 Thread 方式执行，需要 1Core CPU 。

Spark Application 程序运行时三个核心概念： Job 、 Stage 、

Task ，说明如下：

Job ：由多个 Task 的并行计算部分，一般 Spark 中的 action 操作（如 save 、 collect ，后面进一步说明），会生成一个Job 。

Stage ： Job 的组成单位，一个 Job 会切分成多个 Stage，Stage 彼此之间相互依赖顺序执行，而每个 Stage 是多个Task 的集合，类似 map 和 reduce stage 。

Task ：被分配到各个 Executor 的单位工作内容，它是 Spark 中的最小执行单位，一般来说有多少个 Paritition （物理层面的概念，即分支可以理解为将数据划分成不同部分并行处理），就会有多少个 Task ，每个 Task 只会处理单一分支上的数据。

bin/spark-submit --master spark://server:7077 Standalone 提交 Spark 应用的命令

五，Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障（SPOF）的问题。

如何解决这个单点故障的问题， Spark 提供了两种方案：

1. 基于文件系统的单点恢复 (Single-Node Recovery with Local File System)-- 只能用于开发或测试环境。

2. 基于 zookeeper 的 Standby Masters(Standby Masters with ZooKeeper)-- 可以用于生产环境。

ZooKeeper 提供了一个 Leader Election 机制，利用这个机制可以保证虽然集群存在多个 Master ，但是只有一个是 Active的，其他的都是Standby 。当 Active 的 Master 出现故障时，另外的一个 Standby Master 会被选举出来。由于集群的信息

，包括 Worker ， Driver 和 Application 的信息都已经持久化到文件系统，因此在切换的过程中只会影响新 Job 的提交，对于正在进行的Job 没有任何的影响。加入 ZooKeeper 的集群整体架构如下图所示。

对于Spark On YARN, 无需部署Spark集群, 只要找一台服务器, 充当Spark的客户端, 即可提交任务到YARN集群中运行.

六，Spark On Yarn的本质

Master 角色由 YARN 的 ResourceManager 担任 .

Worker 角色由 YARN 的 NodeManager 担任 .

Driver 角色运行在 YARN 容器内或提交任务的 客户端进程 中

真正干活的 Executor 运行在 YARN 提供的容器 内

Spark On Yarn 需要啥 ?

1. 需要 Yarn 集群 : 已经安装了

2. 需要 Spark 客户端工具 , 比如 spark-submit, 可以将 Spark 程序提交到 YARN 中

3. 需要被提交的代码程序 : ，如 spark/examples/src/main/python/pi.py 此示例程序 , 或我们后续自己开发的 Spark 任务

Spark On YARN 是有两种运行模式的 , 一种是 Cluster 模式一种是 Client 模式 .

这两种模式的区别就是 Driver 运行的位置 .

Cluster 模式即 :Driver 运行在 YARN 容器内部 , 和 ApplicationMaster 在同一个容器内

Client 模式即 :Driver 运行在客户端进程中 , 比如 Driver 运行在 spark-submit 程序的进程中

Cluster 模式

Client 模式

Client模式和Cluster模式最最本质的区别是：Driver程序运行在哪里。

Client 模式：学习测试时使用，生产不推荐 ( 要用也可以 , 性能略低 , 稳定性略低 )

1.Driver 运行在 Client 上 , 和集群的通信成本高

2.Driver 输出结果会在客户端显示

Cluster 模式：生产环境中使用该模式

1.Driver 程序在 YARN 集群中，和集群的通信成本低

2.Driver 输出结果不能在客户端显示

3. 该模式下 Driver 运行 ApplicattionMaster 这个节点上 , 由 Yarn 管理，如果出现问题， yarn 会重启ApplicattionMaster(Driver)

具体流程步骤如下：

1 ）、 Driver 在任务提交的本地机器上运行， Driver 启动后会和 ResourceManager 通讯申请启动 ApplicationMaster

；

2 ）、随后 ResourceManager 分配 Container ，在合适的 NodeManager 上启动 ApplicationMaster ，此时的

ApplicationMaster 的功能相当于一个 ExecutorLaucher ，只负责向 ResourceManager 申请 Executor 内存；

3 ）、 ResourceManager 接到 ApplicationMaster 的资源申请后会分配 Container ，然后 ApplicationMaster 在资源分

配指定的 NodeManager 上启动 Executor 进程；

4 ）、 Executor 进程启动后会向 Driver 反向注册， Executor 全部注册完成后 Driver 开始执行 main 函数；

5 ）、之后执行到 Action 算子时，触发一个 Job ，并根据宽依赖开始划分 Stage ，每个 Stage 生成对应的 TaskSet ，之后

将 Task 分发到各个 Executor 上执行。

在 YARN Cluster 模式下， Driver 运行在 NodeManager Contanier 中，此时 Driver 与 AppMaster 合为一体，示意图如下：

具体流程步骤如下：

1 ）、 Driver 在任务提交的本地机器上运行， Driver 启动后会和 ResourceManager 通讯申请启动 ApplicationMaster；

2 ）、随后 ResourceManager 分配 Container ，在合适的 NodeManager 上启动 ApplicationMaster ，此时的 ApplicationMaster的功能相当于一个 ExecutorLaucher ，只负责向 ResourceManager 申请 Executor 内存；

3 ）、 ResourceManager 接到 ApplicationMaster 的资源申请后会分配 Container ，然后 ApplicationMaster 在资源分配指定的NodeManager 上启动 Executor 进程；

4 ）、 Executor 进程启动后会向 Driver 反向注册， Executor 全部注册完成后 Driver 开始执行 main 函数；

5 ）、之后执行到 Action 算子时，触发一个 Job ，并根据宽依赖开始划分 Stage ，每个 Stage 生成对应的 TaskSet ，之后将Task 分发到各个 Executor 上执行。