一、Flink架构
Flink 是一个分布式系统,需要有效分配和管理计算资源才能执行流应用程序。它集成了所有常见的集群资源管理器,例如Hadoop yarn,但也可以设置作为独立集群甚至库运行。
Flink 集群剖析
Flink 运行时由两种类型的进程组成:一个 JobManager (作业管理器)和一个或者多个 TaskManager(任务管理器)。
可以通过多种方式启动 JobManager 和 TaskManager:直接在机器上作为standalone 集群启动、在容器中启动、或者通过YARN等资源框架管理并启动。
流程简要说明:
我们编写的flink代码在本地会被构建为一个数据流程图Dataflow graph(类似于spark中的DAG有向无环图,其实就是我们的代码逻辑),之后会将这个Dataflow graph提交给JobManager并被拆分为一个一个的个task,这些task会被发送到TaskManager中的TaskSlot执行,TaskManager也会返回task的状态信息给JobManager。
节点功能:
JobManager:决定何时调度下一个 task(或一组 task)、对完成的 task 或执行失败做出反应、协调 checkpoint、并且协调从失败中恢复等
TaskManagers(也称为 worker):执行作业流的 task,并且缓存和交换数据流。
必须始终至少有一个 TaskManager,在 TaskManager 中资源调度的最小单位是 task slot(槽)。 task slot 的数量表示并发处理 task 的数量,意一个 task slot 中可以执行多个算子。
(可以将Task Slot类比为线程池,而将task类比为线程,便于理解)
下面是官方文档原文参考:
二、Flink独立集群搭建与使用(Standalone)
1、上传解压
在华为云镜像站下载flink-1.15.2安装包并上传到linux中解压
tar -xvf flink-1.15.2-bin-scala_2.12.tgz
2、配置环境变量
2.1 vim /etc/profile
export FLINK_HOME=/usr/local/soft/flink-1.15.2
export PATH=$PATH:$FLINK_HOME/bin
2.2 source /etc/profile (使得环境变量生效 )
3、修改配置文件
3.1 修改flink-conf.yaml文件
jobmanager.rpc.address: master
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
taskmanager.host: localhost #在分发后子节点需要分别修改为noe1和node2
taskmanager.numberOfTaskSlots: 4
rest.address: master
rest.bind-address: 0.0.0.0
3.2 修改 masters文件
master:8081
3.3 修改 workers 文件
node1
node2
4、同步到子节点
scp -r flink-1.15.2 node1:`pwd`
scp -r flink-1.15.2 node2:`pwd`# 修改node1和node2中地taskmanager.host
taskmanager.host: node1
taskmanager.host: node2
5、启动Flink独立集群
在主节点启动:
start-cluster.sh # stop-cluster.sh(关闭命令)
flink web ui 界面:
http://master:8081
6、提交任务
以Flink系列一写的入门案例代码为例子:
6.1 方式一:将代码打包上传到服务器提交
flink run -c com.shujia.flink.core.Demo1StreamWordCount flink-1.0.jar
注意:任务运行成功的话会一直存在,如果想要取消,可以点击右上角的cancle job停止任务。
6.2 在flink web ui中直接提交
三、Flink on Yarn模式
flink on yarn模式:将flink地任务提交到yarn上运行
首先要启动hadoop集群
1、整合
# 在环境变量中配置HADOOP_CLASSSPATH
vim /etc/profile
export HADOOP_CLASSPATH=`hadoop classpath`
注意: 要放在最后面,不要放在配置的HADOOP_HOME环境变量之前。
source /etc/profile
2、Flink on yarn的三种部署模式
2.1 Application Mode(应用模式)
特点:
(1)将任务提交到yarn上运行,yarn会为每一个flink地任务启动一个jobmanager和一个或者多个taskmanasger
(2)代码main函数不再本地运行,dataFlow不再本地构建,如果代码报错在本地看不到详细地错误日志,类似于spark中的spark yarn cluster。
提交命令:
flink run-application -t yarn-application -c com.shujia.flink.core.Demo1StreamWordCount flink-1.0.jar
本地看不到日志,但是可以查看yarn的日志:
yarn logs -applicationId application_1717039073374_0001
2.2 Per-Job Cluster Mode(单作业模式)
特点:
(1)将任务提交到yarn上运行,yarn会为每一个flink地任务启动一个jobmanager和一个或者多个taskmanasger
(2)代码地main函数在本地启动,在本地构建dataflow,再将dataflow提交给jobmanager,如果代码报错再本地可以看到部分错误日志,类似于spark中的spark yarn client模式,
提交命令:
flink run -t yarn-per-job -c com.shujia.flink.core.Demo1StreamWordCount flink-1.0.jar
2.3 Session Mode(会话模式)
特点:
(1)先再yarn中启动一个jobmanager, 不启动taskmanager
(2)提交任务地时候再动态申请taskmanager
(3)所有使用session模式提交的任务共享同一个jobmanager
(4)类似独立集群,只是集群在yarn中启动了,可以动态申请资源
(5)一般用于测试
提交命令:
# 1、先启动会话集群
yarn-session.sh -d可选参数解释:
-d:分离模式,如果你不想让Flink YARN客户端一直前台运行,可以使用这个参数,即使关掉当前对话窗口,YARN session也可以后台运行。
-jm(--jobManagerMemory):配置JobManager所需内存,默认单位MB。
-nm(--name):配置在YARN UI界面上显示的任务名。
# 2、再提交任务
flink run -t yarn-session -Dyarn.application.id=application_1717075266296_0004 -c com.shujia.flink.core.Demo1StreamWordCount flink-1.0-SNAPSHOT.jar#或者 在网页中直接提交
杀死yarn集群任务命令:
yarn application -kill application_1717075266296_0004