Linux系统上搭建高可用Kafka集群（使用自带的zookeeper）

本次在CentOS7.6上搭建Kafka集群

Apache Kafka 是一个高吞吐量的分布式消息系统，被广泛应用于大规模数据处理和实时数据管道中。本文将介绍在CentOS操作系统上搭建Kafka集群的过程，以便于构建可靠的消息处理平台。

文件分享（KafkaUI、kafka3.3.2、jdk1.8）

链接：https://pan.baidu.com/s/1dn_mQKc1FnlQvuSgGjBc1w?pwd=t2v9 提取码：t2v9

也可以从官网自己下

Kafka官网

步骤概览

本次使用三台机器 hostname别名分别为res01（10.41.7.41）、res02（10.41.7.42）、res03（10.41.7.43）

在这个教程中，我们将覆盖以下主要步骤：

  1. 准备环境：安装和配置Java、Zookeeper和Kafka所需的依赖。
  2. 配置Zookeeper集群：确保Kafka有可靠的分布式协调服务。（本次使用Kafka自带的zookeeper）
  3. 配置Kafka集群：在每个节点上安装和配置Kafka，设置Kafka集群以实现高性能和高可用性。

步骤详解

步骤1：环境准备 （先对第一台服务器操作 其他的使用scp传输之后进行小修改就好）

安装Java

确保Java安装正确，并设置JAVA_HOME环境变量。

如果对于jdk安装有问题的可以看一下这篇Linux安装MySQL、JDK（含环境变量配置）、Tomcat

步骤2：安装Kafka

下载和解压Kafka
[root@res01 module]# clear
[root@res01 module]# ll
总用量 104124
drwxr-xr-x. 4 root root        40 11月 10 10:07 data
-rw-r--r--. 1 root root 106619987 11月 10 10:33 kafka_2.13-3.3.2.tgz
[root@res01 module]# tar -zxvf kafka_2.13-3.3.2.tgz
解压之后通过mv改名

步骤3：配置zookeeper

进入文件夹kafka3.3.2中找到config

接下来主要修改zookeeper.properties和server.properties这两个文件

zookeeper.properties如下

# 需要去新建/opt/module/data/zookeeper下面这两个文件夹
dataDir=/opt/module/data/zookeeper/data
dataLogDir=/opt/module/data/zookeeper/logs
clientPort=12181
maxClientCnxns=0
admin.enableServer=false
tickTime=2000
initLimit=10
syncLimit=5
# server.X=hostname:peerPort:leaderPort
# peerPort 是服务器之间通信的端口。
# leaderPort 是用于选举 leader 的端口。
server.1=res01:12182:12183
server.2=res02:12182:12183
server.3=res03:12182:12183

#res01、res02、res03是我本地设置过的主机名 如果没设置使用ip地址即可
在每个节点上zookeeper的配置文件中dataDir目录下创建一个名为myid的文件，并分别填入相应节点的ID号：1、2、3。

步骤4:配置Kafka

编辑Kafka配置文件config/server.properties，设置broker.id和zookeeper.connect：

# 设置 broker.id 这个是 Kafka 集群区分每个节点的唯一标志符。 对应那个myid即可
broker.id=1
# 将监听端口设置为19091
listeners=PLAINTEXT://res01:19091

# 将广告给客户端的地址也设置为19091
advertised.listeners=PLAINTEXT://res01:19091

num.network.threads=3

num.io.threads=8

socket.send.buffer.bytes=102400

# The receive buffer (SO_RCVBUF) used by the socket server
socket.receive.buffer.bytes=102400

# The maximum size of a request that the socket server will accept (protection against OOM)
socket.request.max.bytes=104857600


############################# Log Basics #############################

# 设置 Kafka 的数据存储路径 这个目录下不能有其他非 Kafka 目录，不然会导致 Kafka 集群无法启动。
log.dirs=/opt/module/data/kafka-log
# 默认的 Partition 的个数。
num.partitions=3
# 设置默认的复制因子为3
default.replication.factor=3


num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=3
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
# Kafka 的数据保留的时间，默认是 7 天 168h。 这里使用24小时
log.retention.hours=24

log.retention.check.interval.ms=300000
# Kafka 连接的 ZooKeeper 的地址和连接 Kafka 的超时时间。
zookeeper.connect=res01:12181,res02:12181,res03:12181
zookeeper.connection.timeout.ms=6000

group.initial.rebalance.delay.ms=0
# 设置是否可以删除 Topic，默认 Kafka 的 Topic 是不允许删除的 这里打开了
delete.topic.enable=true


# 这是用于启用或禁用日志清理的选项，默认值为 true，以确保 Kafka 持续进行日志清理。需要根据实际需求进行设置。
log.cleaner.enable=true
# 这个参数控制日志清理线程的数量。对于你的硬件配置，你可以考虑设置为 4 或 8 来充分利用服务器的性能。
log.cleaner.threads=4
# 这个参数用于控制日志清理线程的 IO 缓冲区大小。对于你的硬件配置，可以设置为 8192 或 16384。
log.cleaner.io.buffer.size=8192
# 这个参数是用来设置主题日志保留的最大字节数。对于控制磁盘空间的使用非常重要。例如，如果你希望限制每个主题的数据量不超过 100GB，可以设置为 107374182400
log.retention.bytes=107374182400
# 这个参数用于控制每个日志段文件的最大大小。对于你的硬件配置，你可以设置为 1073741824（即 1GB）。
log.segment.bytes=1073741824
# 这个参数用于设置 Zookeeper 会话的超时时间。对于较大的集群和连接较慢的网络，你可以考虑将其设置为 10000，即 10 秒。
zookeeper.session.timeout.ms=10000

重点是这个：

# 设置默认的复制因子为3
default.replication.factor=3

在Kafka集群的每个节点上，修改broker.id为对应的节点ID。

配置kafka环境变量

#java环境
export JAVA_HOME=/usr/local/java/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin
#kafka环境
export KAFKA_HOME=/opt/module/kafka3.3.2
export PATH=$PATH:$KAFKA_HOME/bin

步骤5：复制虚拟机

（已有其他服务器的直接连网线scp就好 环境变量 配置小改一下就好 还有hosts、ip等等别忘了配置，我这里直接复制虚拟机了 ）

配置ip、hostname以及hosts后尝试ping

res02修改kafka的config文件即可（zookeeper配置文件都一样 用res01配置的就好）

res03的kafka配置文件同理

以及各台机器的myid（对应上brokerId即可）

步骤6：配置Kafka集群

确保防火墙或安全组允许Kafka端口通过，通常是9092端口。（我这是修改过的为19091，我直接关防火墙了 方便。）

systemctl stop firewalld.service
#关闭运行的防火墙
systemctl disable firewalld.service
#永久关闭防火墙
本次使用的是绝对路径 各位可以到kafka目录下执行命令 去掉前面的绝对路径就好
zookeeper命令

在每个机器上，先启动zookeeper：

/opt/module/kafka3.3.2/bin/zookeeper-server-stop.sh
#停止命令
/opt/module/kafka3.3.2/bin/zookeeper-server-start.sh  /opt/module/kafka3.3.2/config/zookeeper.properties
#启动命令
/opt/module/kafka3.3.2/bin/zookeeper-server-start.sh -daemon /opt/module/kafka3.3.2/config/zookeeper.properties
#后台启动命令 常用~
统一启动后jps查看进程

Kafka命令
在每个Kafka节点上，启动Kafka服务器：
/opt/module/kafka3.3.2/bin/kafka-server-start.sh  /opt/module/kafka3.3.2/config/server.properties
#kafka启动命令
/opt/module/kafka3.3.2/bin/kafka-server-start.sh -daemon /opt/module/kafka3.3.2/config/server.properties
#kafka后台启动命令 常用~
/opt/module/kafka3.3.2/bin/kafka-server-stop.sh
#停止命令
统一启动后jps查看进程
创建主题

使用kafka-topics.sh命令创建一个主题：这里设置的复制因子为3 

bin/kafka-topics.sh --create --topic 你的topic--bootstrap-server res01:19091--replication-factor 3 --partitions 3

验证Kafka集群

使用生产者和消费者验证Kafka集群的功能：

# 启动生产者
bin/kafka-console-producer.sh --topic myTopic --bootstrap-server res01:19091

# 启动消费者
bin/kafka-console-consumer.sh --topic myTopic --bootstrap-server res01:19091--from-beginning

停止 Zookeeper：
/opt/module/kafka3.3.2/bin/zookeeper-server-stop.sh
启动 Zookeeper：
/opt/module/kafka3.3.2/bin/zookeeper-server-start.sh  /opt/module/kafka3.3.2/config/zookeeper.properties
后台启动 Zookeeper：
/opt/module/kafka3.3.2/bin/zookeeper-server-start.sh -daemon /opt/module/kafka3.3.2/config/zookeeper.properties
清空 Kafka 日志：
rm -rf //opt/module/data/kafka-logs/*
启动 Kafka 服务：
/opt/module/kafka3.3.2/bin/kafka-server-start.sh  /opt/module/kafka3.3.2/config/server.properties
后台启动 Kafka 服务：
/opt/module/kafka3.3.2/bin/kafka-server-start.sh -daemon /opt/module/kafka3.3.2/config/server.properties
停止 Kafka 服务：
/opt/module/kafka3.3.2/bin/kafka-server-stop.sh
创建 Topic：
/opt/module/kafka3.3.2/bin/kafka-topics.sh --create --topic [TOPIC_NAME] --bootstrap-server [SERVER_IP]:[PORT] --partitions [PARTITIONS_SIZE] --replication-factor [REPLICATION_FACTOR]
删除 Topic：
/opt/module/kafka3.3.2/bin/kafka-topics.sh --delete --topic [TOPIC_NAME] --bootstrap-server [SERVER_IP]:[PORT]
查看 Topic 信息：
/opt/module/kafka3.3.2/bin/kafka-topics.sh --describe --topic [TOPIC_NAME] --bootstrap-server [SERVER_IP]:[PORT]
列出所有的 Topic：
/opt/module/kafka3.3.2/bin/kafka-topics.sh --list --bootstrap-server [SERVER_IP]:[PORT]
控制台生产消息：
/opt/module/kafka3.3.2/bin/kafka-console-producer.sh --bootstrap-server [SERVER_IP]:[PORT] --topic [TOPIC_NAME]
控制台消费信息：
/opt/module/kafka3.3.2/bin/kafka-console-consumer.sh --bootstrap-server [SERVER_IP]:[PORT] --topic [TOPIC_NAME] --from-beginning
查看副本：
/opt/module/kafka3.3.2/bin/kafka-topics.sh --describe --bootstrap-server [SERVER_IP]:[PORT] | grep consumer_offsets
请记住替换 [TOPIC_NAME]、[SERVER_IP]:[PORT]、[PARTITIONS_SIZE]、[REPLICATION_FACTOR] 等位中的值为实际的值。

自己的做的总结如上：

运行Java代码生成topic 可以看到分区都是3符合集群要求

运行kafkaui查看详细情况（百度网盘链接里有，自己输入命令太累了 直接用别人封装好现成的看就好~）

结论

通过这个步骤，我们成功地搭建了一个基本的Kafka集群。在实际生产环境中，您可能需要进一步调整和优化配置，以满足特定需求和性能要求。

希望这个教程可以帮助您成功搭建Kafka集群，为您的数据处理和消息传递架构提供强大的基础设施。

最后温馨提示：如果你远程服务器起了别名，而自己电脑的hosts别名对应其他的服务器 也会发生报错 记得别名对应好ip即可

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/135548.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Frp内网穿透部署

Frp内网穿透部署

Frp内网穿透部署记录windows为例 A固定外网IP服务器一台（可以映射端口）B内网PC一台，可上外网 A固定外网IP服务器一台（可以映射端口） B内网PC一台，可上外网 GO语言：https://golang.org/doc/ins…
阅读更多...
【算法专题】双指针—三数之和

【算法专题】双指针—三数之和

力扣题目链接：三数之和 一、题目解析 二、算法原理 解法一：排序暴力枚举利用set去重 代码就不写了，你们可以试着写一下 解法二：排序双指针 这题和上一篇文章的两数字和方法类似 排序固定一个数a在这个数的后面区间&#xff0…
阅读更多...
Spring Bean 的生命周期

Spring Bean 的生命周期

一、前言： Spring Bean 的生命周期之前先来了解两个概念： 1.1 什么是 Bean In Spring, the objects that form the backbone of your application and that are managed by the Spring IoC container are called beans. A bean is an object that is in…
阅读更多...
“面向目标值的排列匹配“和“面向目标值的背包组合问题“的区别和leetcode例题详解

“面向目标值的排列匹配“和“面向目标值的背包组合问题“的区别和leetcode例题详解

1 目标值排列匹配 1.1 从目标字符串的角度来看，LC139是一个排列问题，因为最终目标子串的各个字符的顺序是固定的？ 当我们从目标字符串 s 的角度来看 LC139 “单词拆分” 问题，确实可以认为它涉及到排列的概念，但这种…
阅读更多...
C++ Qt 学习（四）：自定义控件与 qss 应用

C++ Qt 学习（四）：自定义控件与 qss 应用

1. qss 简介 Qt style sheet（qss，Qt 样式表），不需要用 C 代码控件进行重载，就可以修改控件外观，类似于前端的 css 2. qss 选择器 2.1 通配符选择器 /* 设置后控件窗口背景色都被修改为黄色 */ * {backg…
阅读更多...
便捷Benchmark.sh 自动匹配workload（自用）

便捷Benchmark.sh 自动匹配workload（自用）

​ 因为db_bench选项太多，而测试纬度很难做到统一（可能一个memtable大小的配置都会导致测试出来的写性能相关的的数据差异很大），所以官方给出了一个benchmark.sh脚本用来对各个workload进行测试。 该脚本能够将db_bench测试结果中…
阅读更多...
深度解析NLP定义、应用与PyTorch实战

深度解析NLP定义、应用与PyTorch实战

1. 概述 文本摘要是自然语言处理（NLP）的一个重要分支，其核心目的是提取文本中的关键信息，生成简短、凝练的内容摘要。这不仅有助于用户快速获取信息，还能有效地组织和归纳大量的文本数据。 1.1 什么是文本摘要&#x…
阅读更多...
《詩經别解》——國風·周南·雎鳩​​​​​​​

《詩經别解》——國風·周南·雎鳩​​​​​​​

一、关于古文的一个认识 目前可以阅读的古文经典，大多是经历了几千年的传承。期间的武力战争、文化纷争、宗教侵袭、官僚介入及文人的私人恩怨与流派桎梏，印刷与制作技术，导致这些古文全部都已经面目全非。简单地说，你读到的都是…
阅读更多...
树与二叉树作业

树与二叉树作业

1. 已知一个二叉树的中序遍历序列和后序遍历序列，求这棵树的前序遍历序列 【问题描述】 已知一个二叉树的中序遍历序列和后序遍历序列，求这棵树的前序遍历序列。 【输入形式】 一个树的中序遍历序列 该树后序遍历序列，中间用空格分开。输…
阅读更多...
el-table实现展开当前行时收起上一行的功能

el-table实现展开当前行时收起上一行的功能

<el-tableref"tableRef":data"tableData":expand-row-keys"expandRowKeys":row-key"handleRowKey" // 必须指定 row-keyexpand-change"handleExpandChange" // 当用户对某一行展开或者关闭的时候会触发该事件> <…
阅读更多...
Creo螺旋扫描/弹簧画法

Creo螺旋扫描/弹簧画法

一&#xff1a;点击螺旋扫描 二&#xff1a;参考–》螺旋轮廓的定义&#xff1a; 三、草绘轮廓线&#xff1a;视图放正 四、草绘弹簧丝线形状&#xff1a; 在非中轴线上画圆&#xff1a; 制螺旋线&#xff1a; 首先理清Creo绘制螺旋线的逻辑&#xff08;不同于UG直接给定直径…
阅读更多...
华为ensp：边缘端口并启动BUDU保护

华为ensp：边缘端口并启动BUDU保护

如上图前提是三个交换机都做了rstp&#xff0c;则在边缘的地方做 边缘端口并启动BUDU保护&#xff0c;也就是我用绿色圈出来的地方 边缘1 进入交换机的系统视图 interface e0/0/3 进入接口 stp edged-port enable quit 再退回系统视图 stp bpdu-protection 这样就可以了…
阅读更多...
Arduino ESP8266使用AliyunIoTSDK.h连接阿里云物联网平台

Arduino ESP8266使用AliyunIoTSDK.h连接阿里云物联网平台

文章目录 1、AliyunIoTSDK简介2、相关库安装3、阿里云创建产品&#xff0c;订阅发布4、对开源的Arduino ESP8266源代码修改5、使用阿里云点亮一个LED灯6、设备向阿里云上传温度数据7、项目源码 1、AliyunIoTSDK简介 AliyunIoTSDK是arduino的一个库&#xff0c;可以在arduino的…
阅读更多...
20分钟搭建Ubertooth One开源蓝牙测试工具

20分钟搭建Ubertooth One开源蓝牙测试工具

kali linux 2023 安装依赖&#xff08;记得使用root用户搭建环境&#xff09; 1、apt-get update 2、apt install ubertooth 更新共享库缓存 3、ldconfig 安装 Ubertooth 工具和驱动程序 4、插入Ubertooth One工具 5、ubertooth-util -v 备注&#xff1a;出现Firmwate v…
阅读更多...
Android系统开发快速寻找代码（如何在文件夹中寻找代码）

Android系统开发快速寻找代码（如何在文件夹中寻找代码）

很多时候对于Android系统开发小白而言&#xff0c;例如预置APK&#xff0c;知道了APK包名不知道具体代码位置需要去寻找代码&#xff0c;但是Android系统代码十分庞大&#xff0c;如何快速准确查询代码是个问题。 本人目前只探索到了一些方法&#xff0c;如有更有效的办法可以…
阅读更多...
CMOS介绍

CMOS介绍

1 二极管 2 CMOS 2.1 栅极、源极、漏极 2.2 内部结构 2.2 导电原理 - 原理&#xff1a;1.通过门级和衬底加一个垂直电场Ev&#xff0c;从而在两口井之间形成反形层2.如果加的电场足够强&#xff0c;反形层就可以把source&#xff08;源极&#xff09;和drain&#xff08;漏极…
阅读更多...
UML软件建模软件StarUML mac中文版软件介绍

UML软件建模软件StarUML mac中文版软件介绍

StarUML for mac是一款UML建模器&#xff0c;StarUML for mac提供了几个模版&#xff0c;帮助用户建立使用新的图表&#xff0c;是目前最流行的UML建模工具&#xff0c;给开发工作带来大大的便利。 StarUML mac软件介绍 StarUML 是一个流行的软件建模工具&#xff0c;用于创建…
阅读更多...
【车载开发系列】AutoSar中的CANTP

【车载开发系列】AutoSar中的CANTP

【车载开发系列】AutoSar中的CANTP 【车载开发系列】AutoSar中的CANTP 【车载开发系列】AutoSar中的CANTP一. CANTP相关术语二. CANTP相关概念1&#xff09;单帧&#xff1a;SF(Single Frame)2&#xff09;首帧&#xff1a;FF(First Frame)3&#xff09;连续帧CF(Consecutive F…
阅读更多...
原生微信小程序学习之旅(一) -来简单的使用

原生微信小程序学习之旅(一) -来简单的使用

文章目录 取消导航栏标头组件创建添加Component组件接收传入的数据 页面创建(Page)关于tabBartabBar自定义样式 轮播图轮播图指示点样式改变 微信小程序快速获取用户信息路由跳转获取url路径中的参数 bindtap(click)传参wx:if编写用户登陆关于默认工程目前的获取方法尝试一下服…
阅读更多...
python 中用opencv开发虚拟键盘------可以只选择一个单词不会出现一下选择多个

python 中用opencv开发虚拟键盘------可以只选择一个单词不会出现一下选择多个

一. 介绍 OpenCV是最流行的计算机视觉任务库&#xff0c;它是用于机器学习、图像处理等的跨平台开源库&#xff0c;用于开发实时计算机视觉应用程序。 CVzone 是一个计算机视觉包&#xff0c;它使用 OpenCV 和 Media Pipe 库作为其核心&#xff0c;使我们易于运行&#xff0c…
阅读更多...
最新文章

Copyright @ 2022~2023