目录
问题复现
History Server配置
HADOOP_CLASSPATH配置
History Server配置
问题修复
启动flink集群
启动Histroty Server
问题复现
在bigdata111上执行如下命令开启socket:
nc -lk 9999
如图:
在bigdata111上执行如下命令运行flink应用程序
flink run -c com.leboop.SocketStreamingWordCount /root/jars/flink-1.0-SNAPSHOT.jar --host bigdata111 --port 9999
运行成功后,登录http://bigdata111:8081/#/overview
打开flink web ui页面,如图:
此时点击Cancel Job取消任务,如图:
可以在Completed Job List中看到刚刚被取消的任务,如图:
此时重启flink集群,如图:
再次登录flink web ui,如图:
刚被取消的任务已经不显示。 重启集群后不显示历史任务。
History Server配置
集群现有的角色分布如下:
IP地址 | 主机名称 | Flink角色 |
192.168.128.111 | bigdata111 | master |
192.168.128.112 | bigdata112 | worker |
192.168.128.113 | bigdata113 | worker |
可以选择任意一条服务器作为History Server节点,这里选择bigdata112作为History Server节点。
HADOOP_CLASSPATH配置
在三台服务器上配置HADOOP_CLASSPATH,配置步骤如下:
执行如下命令,打开配置文件:
vi /etc/profile
在文件末尾添加如下配置内容:
# historyserver
export HADOOP_CLASSPATH=`hadoop classpath`
执行如下命令,生效配置文件:
source /etc/profile
如图:
History Server配置
三台服务器上同时配置。执行如下命令,打开bigdata111服务器flink安装目录下的flink-conf.yaml配置文件
vi /opt/flink-1.9.3/conf/flink-conf.yaml
默认配置如下:
改为如下配置:
#==============================================================================
# HistoryServer
#==============================================================================
# The HistoryServer is started and stopped via bin/historyserver.sh (start|stop)
# Directory to upload completed jobs to. Add this directory to the list of
# monitored directories of the HistoryServer as well (see below).
jobmanager.archive.fs.dir: hdfs:///flink-cluster/standalone/completed-jobs/
# The address under which the web-based HistoryServer listens.
historyserver.web.address: bigdata112
# The port under which the web-based HistoryServer listens.
historyserver.web.port: 8082
# Comma separated list of directories to monitor for completed jobs.
historyserver.archive.fs.dir: hdfs:///flink-cluster/standalone/completed-jobs/
# Interval in milliseconds for refreshing the monitored directories.
historyserver.archive.fs.refresh-interval: 10000
将配置好flink-conf.yaml复制到其它节点(bigdata112、bigdata113),命令如下:
scp -r flink-conf.yaml bigdata112:`pwd`
scp -r flink-conf.yaml bigdata113:`pwd`
问题修复
启动flink集群
执行start-cluster.sh启动flink集群,如图:
启动成功后,JobManager和TaskManager进程如图:
启动Histroty Server
在bigdata112上,执行如下命令启动historyserver
historyserver.sh start
启动成功后,如图:
登录如下地址,访问history server的web ui页面
http://bigdata112:8082/#/overview
如图:
暂时什么还没有。在bigdata111上打开socket,并运行flink应用程序,如图:
此时在hdfs上并未创建存储已完成Job数据的目录( hdfs:///flink-cluster/standalone/completed-jobs/),如图:
同样History Server web ui页面也不显示job信息。可以在JobManager web ui界面看到运行的任务,如图:
现在取消任务,任务取消后,在HDFS上生成存储已完成Job的数据目录,如图:
同时在History Server web ui已完成Job列表中会显示该作业,如图:
现在重启flink集群和History Server,如图:
重启以后在History Server web ui页面会显示该Job(JobManager Server依然不显示)。