Flink本地模式安装详解

1. 概述

Apache Flink 支持多种安装和运行模式,主要可以分为以下几种:

  • Local(本地)模式
    • 这种模式主要用于学习和测试,所有的 Flink 组件都会在同一个 JVM 进程中运行。这种方式非常适合初学者了解 Flink 的基本概念和操作。
  • Standalone(独立集群)模式
    • 这种模式下,Flink 自身作为一个独立的集群运行,适合用于开发和测试环境。它包括了一个或多个 JobManager 节点和多个 TaskManager 节点,每个节点都是独立的进程。
    • Standalone HA(高可用性)模式:这是 Standalone 模式的扩展,提供了 JobManager 的高可用性,确保即使某个 JobManager 节点失败,集群仍然能够继续运行。
  • On Yarn(YARN 集群)模式
    • 当 Flink 与 Hadoop 集成时,可以利用 YARN 作为资源管理器来启动 Flink 集群。这种方式适合生产环境,因为它允许动态地请求和释放资源,从而实现更好的资源利用率。
  • On Kubernetes 模式
    • Flink 也可以部署在 Kubernetes 集群上,这种方式提供了更加灵活的管理和伸缩能力,特别适合微服务架构的应用。

每种模式都有其特点和适用场景,选择合适的模式取决于具体的使用需求和技术栈。例如,对于简单的测试和开发工作,Local 模式就足够了;而对于生产环境,则可能更倾向于使用 Standalone HA 模式或 On Yarn 模式以获得更好的稳定性和资源管理能力。随着容器化和云原生技术的发展,On Kubernetes 模式也越来越受到欢迎。

2. Local(本地)模式

今天为了快速入门flink,跑通几个例子,快速入门flink,我们使用简单的本地模式启动flink集群,便于我们平时的测试练习。

2.1 软件安装包准备

  • Java环境,安装好JDK,配置好环境变量,JDK要求Java8 或者 Java11及以上版本,笔者使用Java22。
  • 下载好flink的安装包,笔者使用的是1.20.0。
  • 笔者把用到的Java和Flink的安装包都整理放在一起,有需要可以到下面的链接下载。
  • 下载链接:夸克网盘分享

2.2 安装好jdk

Java JDK安装网上挺多教程,这里不再详细介绍,需要的同学可以到网上搜索下教程,安装成功后,会有下面的提示,说明环境已经准备好了。

2.3 安装flink

把flink的安装包下载到你们本地,并且对它做一个解压操作,解压之后,会有一个flink1.20.0文件夹,进到文件夹里面。

tar -xzf flink-1.20.0-bin-scala_2.12.tgz
cd flink1.20.0

2.4 启动集群

flink是解压即安装,解压完之后再通过其bin目录下准备好的本地模式启动的脚本启动,那么flink的集群变启动起来了。

#进入bin目录,执行 start-cluster.sh 脚本
./start-cluster.sh

看到图片里面的打印的日志,可以确定flink集群启动成功了。

2.5 运行一个流作业

解压flink按照包之后,与bin目录通目录有一个examples目录,里面有挺多的例子,我们就挑选其中一个例子提交到我们准备好的flink集群中。

#提交作业
./bin/flink run examples/streaming/WordCount.jar
#查看作业运行的结果
tail -1000f ./log/flink-wu_ming-taskexecutor-0-192.168.5.4.out

提交作业

查看作业执行结果

2.6 关闭集群

完成上面的测试之后,就可以先把刚刚启动起来的集群关闭掉了,待需要的时候再启动起来。

./bin/stop-cluster.sh

3. 总结

本文开头对flink的几种安装模式都做了介绍,并且详细的介绍了我们开发的时候会使用到的本地模式的安装启动停止过程,并且用了一个demo验证集群是否可用,本地模式是比较方便轻量的安装模式,便于我们开发调试使用。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/907964.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

LabVIEW配电产品精度测试系统

开发了一种基于LabVIEW平台的配电产品精度测试系统,通过自动化测试流程实现更高的测试准确性与效率。系统采用串口和TCP通信技术,与多功能交流采样变送器和配电设备无缝数据交互,提升了测试工作的可靠性和一致性。 一、项目背景 在配电产品…

0-ARM Linux驱动开发-字符设备

一、字符设备概述 Linux 系统中,设备被分为字符设备、块设备和网络设备等。字符设备以字节流的方式进行数据传输,数据的访问是按顺序的,一个字节一个字节地进行读取和写入操作,没有缓冲区。例如,终端(/dev…

flink 内存配置(一):设置Flink进程内存

Apache Flink通过严格控制各个组件的内存使用,在JVM之上提供了高效的工作负载。虽然Flink社区努力为所有配置提供合理的默认值,但由于用户部署在Flink上的应用范围很广,这并不总是可行的。为了给用户提供最大的生产价值,Flink支持…

Android启动流程_Zygote阶段

前言 上一篇文档中我们描述了 Android 启动中的 init 启动部分,本片文档将会继续 Android 启动流程的逻辑,继续梳理 Zygote 部分功能。 说明框架 对于 Zygote 进程,要从以下框架说明: 第一点,编译,zygo…

记本地第一次运行seatunnel示例项目

前置 静态源码编译通过:https://blog.csdn.net/u011924665/article/details/143372464 参考 seatunnel官方的开发环境搭建文档:https://seatunnel.incubator.apache.org/zh-CN/docs/2.3.5/contribution/setup 安装scala 下载scala 去官网下载&…

用流量策略做多出口实验

一、拓扑: 二、配置过程: 1、配置 IP 地址,配置动态路由协议 OSPF 2、AR2 上,配置高级 ACL,允许 ospf 流量、1 到 6、2 到 8、deny 所有 3、写流分类,抓取流量特征 4、写流行为,配置流量动作 5、…

ps技巧,来源于网络

魔棒工具 选个颜色之后 ctrlj复制图层 完成

【论文阅读】Associative Alignment for Few-shot Image Classification

用于小样本图像分类的关联对齐 引用:Afrasiyabi A, Lalonde J F, Gagn C. Associative alignment for few-shot image classification[C]//Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part V 16. Spri…

《TCP/IP网络编程》学习笔记 | Chapter 3:地址族与数据序列

《TCP/IP网络编程》学习笔记 | Chapter 3:地址族与数据序列 《TCP/IP网络编程》学习笔记 | Chapter 3:地址族与数据序列分配给套接字的IP地址和端口号网络地址网络地址分类和主机地址边界用于区分套接字的端口号数据传输过程示例 地址信息的表示表示IPv4…

Android Studio 中的Gemini 推出更多人工智能开发功能

谷歌公司(Google LLC)今天发布了由其人工智能模型 “双子座”(Gemini)驱动的Android Studio的更多功能。 Android Studio中的 "双子座 "作为Android Studio(一种软件编辑器)的人工智能升级版于今…

基于物联网的户外环境检测装置教学文章

引言 随着物联网(IoT)技术的发展,越来越多的应用被广泛研究和应用于我们的日常生活中。户外环境检测装置是一种利用传感器、网络连接和数据分析技术,监测和分析环境数据(如温度、湿度、空气质量等)的设备。…

Javaweb梳理3——SQL概述+DDL语句1

Javaweb梳理3——SQL概述DDL语句1 Javaweb梳理3——SQL概述DDL语句13.1 SQL简介3.2 通用语法3.3 SQL分类3.4 DDL:操作数据库3.4.1 查询数据库3.4.2 创建数据库3.4.3 删除数据库3.4.4 使用数据库 Javaweb梳理3——SQL概述DDL语句1 3.1 SQL简介 英文:Structured Que…

【MWorks】Ubuntu 系统搭建

升级 Ubuntu系统 sudo apt-get update sudo apt-get upgrade安装流程 sudo chmod x 路径/文件.run安装 sudo 路径/文件.run安装过程中两个选项都填 y 打开安装对应的文件夹 运行 syslab.sh 文件,运行结束后,就可以在左上角开始搜索到syslab了。

Linux Qt 6安装Oracle QOCI SQL Driver插件(适用WSL)

本文参考 QOCI for the Oracle Call Interface (OCI)。 除一般的 Linux 系统外,本文也适用于 WSL 2。 在开始之前,如果没有安装 QOCI 插件,则试图链接 Oracle 数据库时会报错: Failed to create wl_display (No such file or dire…

电磁兼容(EMC):整改案例(六)Y电容过大导致雷击浪涌炸机

目录 1. 异常现象 2. 原因分析 3. 整改方案 4. 总结 1. 异常现象 某金属外壳带接地线的产品按GB/T 17626.5进行雷击浪涌测试,在L,N线对PE进行4kV浪涌电压测试时,出现炸机现象,AC-DC电源芯片损坏。而在L,N线间进行2…

WPF怎么通过RestSharp向后端发请求

1.下载RestSharpNuGet包 2.请求类和响应类 public class ApiRequest {/// <summary>/// 请求地址/// </summary>public string Route { get; set; }/// <summary>/// 请求方式/// </summary>public Method Method { get; set; }/// <summary>//…

C语言 | Leetcode C语言题解之第520题检测大写字母

题目&#xff1a; 题解&#xff1a; bool detectCapitalUse(char * word){int len strlen(word);int res 0;int index -1;if(len 1)return true;else{for(int i 0; i < len; i){if(isupper(word[i])){res;index i;}}}return res len || res 0 || (res 1 &&…

VidPanos:从随手拍摄的平移视频生成全景视频

在当今数字化时代,视频拍摄已经成为人们记录生活和分享经历的重要方式。然而,普通手机拍摄的视频往往受到视角的限制,无法完整地展现一个广阔的场景。今天,我们要介绍的 VidPanos 技术,为解决这个问题提供了一种创新的方法。 VidPanos 是由来自华盛顿大学、谷歌 DeepMind…

使用 LlamaIndex 实现的检索增强生成(RAG)

Retrieval Augmented Generation (RAG) using LlamaIndex — ROCm Blogs (amd.com) 2024 年 4 月 4 日 作者&#xff1a;Clint Greene. 先决条件 要运行本博客&#xff0c;您需要具备以下条件&#xff1a; Linux: 参见受支持的 Linux 发行版 ROCm: 参见安装说明 AMD GPU: 参…

【计网】深入理解NAT机制,内网穿透与内网打洞,代理服务

我没胆量犯错 才把一切错过 --- 林夕 《我对不起我》--- 一文了解NAT机制&#xff0c;代理服务&#xff0c;内网穿透 1 再谈 NAT 机制2 内网穿透与内网打洞3 代理服务器 1 再谈 NAT 机制 NAT机制我们在解决IP地址不足的问题中提到过。为了解决IP地址不足的问题&#xff0c;采…