OpenEuler 22.03 安装 flink-1.17.2 集群

零:规划

        本次计划安装三台OpenEuler 22.03 版本操作系统的服务器,用于搭建 flink 集群。这里使用flink1.17.2 的原因,是便于后续与springboot的整合

服务器名IP地址作用其他应用
flink01192.168.159.133jdk11、flink-1.17.2
flink02192.168.159.134从1jdk11、flink-1.17.2
flink03192.168.159.135从2jdk11、flink-1.17.2

一、准备工作

        操作系统安装步骤与 Centos7 近似,在此不再赘述,可以参考我之前的帖子 centos7 安装。可以先安装一台服务器,需要注意的是,安装的过程中,IP 最好设置为静态IP,同时安装完毕后关闭防火墙 并 关闭selinux。

        另外两台flink 服务器可以使用  VMWare 克隆 功能,根据第一台复制得出。

        克隆完毕后,需要为三台服务器 安装jdk并配置免密互访  ,至此,准备工作完毕。

二、flink 安装

        2.1、下载

        可以从  Apache Flink 官网选择一个期望的 flink 的稳定版本下载。如下图所示。

[root@flink01 ~]# wget https://archive.apache.org/dist/flink/flink-1.17.2/flink-1.17.2-bin-scala_2.12.tgz
        2.2、解压并配置环境变量
## 解压缩
[root@flink01 local]# tar -vxf flink-1.17.2-bin-scala_2.12.tgz

## 配置环境变量
[root@flink01 local]# vim /etc/profile

        在profile 文件的最下面,追加flink 的配置信息,我的flink安装在 /usr/local/ 下,诸位可根据自己的情况修改 flink的真实安装路径。如下所示

export FLINK_HOME=/usr/local/flink-1.17.2
export PATH=$PATH:$FLINK_HOME/bin

        配置完毕刷新,验证

## 刷新配置
[root@flink01 local]# source /etc/profile

## 验证。如果能看到自己的flink 版本,说明安装成功。
[root@flink01 local]# flink -v
        2.3、修改 主-flink  的各种配置文件

        修改 flink-conf.yaml 文件

## 修改 conf.yaml 文件
[root@flink01 local]# vim /usr/local/flink-1.17.2/conf/flink-conf.yaml

## 为方便阅读,我把conf.yaml 中的关键内容集中放在下面,诸位做对应修改即可
jobmanager.rpc.address: flink01
jobmanager.bind-host: 0.0.0.0
taskmanager.bind-host: 0.0.0.0
taskmanager.host: flink01
rest.address: flink01
rest.bind-address: 0.0.0.0

       修改 workers 文件

## 修改workers 配置文件
[root@flink01 local]# vim /usr/local/flink-1.17.2/conf/workers

## 删掉原数据,将flink集群的三台服务器名称录入其中
flink01
flink02
flink03

         修改 masters 文件

## 修改workers 配置文件
[root@flink01 local]# vim /usr/local/flink-1.17.2/conf/masters 

## 将 主flink 服务器名称及端口  写入其中
flink01:8081
        2.4、分发并修改   从-flink 服务器

        为简化两台“从服务器”的操作步骤,因此将01服务器已配置好的 flink 文件夹发送到02和03服务器复用即可。下面举例 由flink01向flink02 进行分发操作,01向03的操作与之相同。

## 下面操作在 flink01 服务器上进行
## 首先进入到flink文件夹的同级目录
[root@flink01 local]# cd /usr/local/

## 发送flink 文件夹到从服务器
[root@flink01 local]# scp -r flink-1.17.2/ flink02:/usr/

        下面以02 服务器举例  “从服务器”  的 flink-conf.yaml文件如何修改,03的操作与之相同。

## 下面操作在 flink02 服务器上进行
## 修改 conf.yaml 文件
[root@flink02 local]# vim /usr/local/flink-1.17.2/conf/flink-conf.yaml

## 从服务器只需修改  taskmanager.host 这个属性的值为当前服务器名称即可。
taskmanager.host: flink02

        从服务器仅需修改这一个配置文件即可。此外需要参照上面所述,为两台从服务器配置flink 的环境变量,此处不再赘述。

三、验证

        3.1、启动集群

## 启动集群
[root@flink01 local]# ./usr/local/flink-1.17.2/bin/start-cluster.sh

## 验证
[root@flink01 local]# jps

## 如果flink01 中存在 TaskManagerRunner 和 StandaloneSessionClusterEntrypoint 进程,
## 说明启动成功

        3.2、执行job

        找一个大名鼎鼎 WordCount job来执行一下看看吧

## 进入flink 样例job目录
[root@flink01 local]# cd /usr/local/flink-1.17.2/examples/streaming

## 执行 WordCount 任务
[root@flink01 local]# flink run WordCount.jar

        执行结果如下图所示

         可以从 flink主节点的页面(192.168.159.133:8081)查看到 已完成的job 信息。

        至此,从安装服务器到设置免密、安装flink、配置文件 的整个过程就结束了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/940137.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

[数据结构] 链表

目录 1.链表的基本概念 2.链表的实现 -- 节点的构造和链接 节点如何构造? 如何将链表关联起来? 3.链表的方法(功能) 1).display() -- 链表的遍历 2).size() -- 求链表的长度 3).addFirst(int val) -- 头插法 4).addLast(int val) -- 尾插法 5).addIndex -- 在任意位置…

20241220在荣品开发板PRO-RK3566的buildroot下适配gc2093

20241220在荣品开发板PRO-RK3566的buildroot下适配gc2093 2024/12/20 16:00 余顺?PRO-RK3566开发板 挂 gc2093模块。刷 buildroot的预编译固件。 update-pro-rk3566-buildroot-hdmi-20231130-034633.img 1、现在发现 qcamera的 拍照Capture、Record录像模式都是640x480分辨率…

实习冲刺数据库练习-01 基础查询

原题链接:牛客网在线编程_SQL篇_非技术快速入门 数据表示例: 根据数据表示例要求我们完成以下查询: (1)获取用户信息表中所有的数据,请你取出相应结果 (2)获取用户的设备id对应的…

【Mars3d】设置backgroundImage、map.scene.skyBox、backgroundImage来回切换

相关链接: http://mars3d.cn/editor-vue.html?keyex_1_2_1&idmap/other/backgroundImg 实现代码: export function show1() {map.setOptions({scene: {backgroundType: "image",backgroundImage: "url(//data.mars3d.cn/img/busin…

telnet命令检查端口

1、简介 telnet是一种用于远程登录的协议,可以通过telnet客户端连接到远程主机,并在远程主机上执行命令。 2、使用telnet命令检查端口 2.1 进入linux终端 2.2 输入telnet命令 如果没有安装telnet命令,请执行以下命令安装 sudo yum install…

Unity 根据文本宽度自动移动图像位置

游戏中有时候需要变动的显示一个物品的数量,变化的文本宽度不停的变化,这时候需要将物品的icon随着文本的长度而改变位置。 实现思路:使用Content Size Fitter来动态改变内容的大小。 首先建立一个文本组件,添加Content Size Fi…

基于Springboot人口老龄化社区服务与管理平台【附源码】

基于Springboot人口老龄化社区服务与管理平台 效果如下: 系统登陆页面 系统主页面 社区信息页面 社区文件页面 活动报名页面 走访任务管理页面 社区资讯页面 老人信息管理页面 研究背景 随着社会老龄化的加剧,老年人口比例逐渐增加,对老年…

加密数据库在现代企业中的应用实践

以下是对加密数据库在现代企业中的应用实践的详细阐述: 一、加密数据库的应用背景 随着信息技术的飞速发展,现代企业对于数据的安全性和隐私保护要求越来越高。数据库作为存储大量敏感信息的关键设施,其安全性直接关系到企业的商业利益和声誉…

安卓环境配置及打开新项目教程,2024年12月20日最新版

1.去官网下载最新的Android Studio,网址:https://developer.android.com/studio?hlzh-cn 2.下载加速器,注册账号,开启加速器。网址:放在文末。 3.下载安卓代码,项目的路径上不能有中文,特别是…

20241217使用M6000显卡在WIN10下跑whisper来识别中英文字幕

20241217使用M6000显卡在WIN10下跑whisper来识别中英文字幕 2024/12/17 17:21 缘起,最近需要识别法国电影《地下铁》的法语字幕,使用 字幕小工具V1.2【whisper套壳/GUI封装了】 无效。 那就是直接使用最原始的whisper来干了。 当你重装WIN10的时候&#…

sqlite3 支持位运算 和view和 triger

数据设置条件以后可以.根据门限自动调整其他的值 由数据库记录修改时间,及记录-> 网元设备的告警产生时间,设置超时清除时间,记录系统的原始时间戳 CPp 有 sqlite 支持 json 导出字符串,json 库将字符串,映射为结构体 triger update table 更新到一个 可设置参数列表 ,view …

11-C语言结构体(下篇)

一、结构体指针变量 结构体指针变量:本质上是一个指针变量,保存的是结构体变量的地址。 1.结构体变量的地址 结构体变量的地址:对结构体变量名取地址。 代码演示 typedef struct stu {char name[32];int age;float score; }STU;int main…

linux普通用户使用sudo不需要输密码

1.root用户如果没有密码,先给root用户设置密码 sudo passwd root #设置密码 2.修改visudo配置 su #切换到root用户下 sudo visudo #修改visudo配置文件 用户名 ALL(ALL) NOPASSWD: ALL #下图所示处新增一行配置 用户名需要输入自己当前主机的用户名

百度面试手撕 go context channel部分学习

题目 手撕 对无序的切片查询指定数 使用context进行子协程的销毁 并且进行超时处理。 全局变量定义 var (startLoc int64(0) // --- 未处理切片数据起始位置endLoc int64(0) // --- 切片数据右边界 避免越界offset int64(0) // --- 根据切片和协程数量 在主线程 动态设…

任务一登录安全加固

1 (1)、(2) secpol.msc打开本地安全策略 2 (1) DCOM: 在安全描述符定义语言(SDDL)语法中的计算机访问限制 没有定义 DCOM: 在安全描述符定义语言(SDDL)语法中的计算机启动限制 没有定义 Microsoft 网络服…

无人机推流直播平台EasyDSS视频技术如何助力冬季森林防火

冬季天干物燥,大风天气频繁,是森林火灾的高发期。相比传统的人力巡查,无人机具有更高的灵敏度和准确性,尤其在夜间或浓雾天气中,依然能有效地监测潜在火源。 无人机可以提供高空视角和实时图像传输,帮助巡…

写SQL太麻烦?免费搭建 Text2SQL 应用,智能写 SQL | OceanBase AI 实践

自OceanBase 4.3.3版本推出以来,向量检索的能力受到了很多客户的关注,也纷纷表达希望OB能拓展更多 多模数据库大模型 的AI应用实践。 在上篇文章 👉 OceanBase LLM,免费构建你的专属 AI 助手 ,我们介绍了如何去搭建一…

Halcon 机器视觉案例 之 药剂液面高度测量

第二篇 机器视觉案例 之 药剂液面高度测量 文章目录 第二篇 机器视觉案例 之 药剂液面高度测量1.案例要求2.实现思路2.1获得液面的位置:2.1.1 获得每支药剂的位置坐标2.1.2 根据药剂的横坐标设置卡尺工具助手找到每一个液面的位置 2.2 获得基准线的位置:…

使用k6进行MongoDB负载测试

1.安装环境 安装xk6-mongo扩展 ./xk6 build --with github.com/itsparser/xk6-mongo 2.安装MongoDB 参考Docker安装MongoDB服务-CSDN博客 连接成功后新建test数据库和sample集合 3.编写脚本 test_mongo.js import xk6_mongo from k6/x/mongo;const client xk6_mongo.new…

LabVIEW随机扫描成像系统

利用LabVIEW开发了一套随机扫描成像系统,利用硬件时钟实现声光偏转器(AOD)的频率控制与信号采集之间的高速时间同步。系统利用了高精度的时钟同步技术,确保了成像精度和重复性,从而有效提高了成像速度和质量。 项目背景…