使用kafka还在依赖Zookeeper，kraft模式了解下

Kafka的Kraft模式

概述

​ Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。其核心组件包含Producer、Broker、Consumer，以及依赖的Zookeeper集群。其中Zookeeper集群是Kafka用来负责集群元数据的管理、控制器的选举等。

​ 用过kafka的开发者应该知道，每次启动kafka服务时，都是需要先把Zookeeper启动，然后启动kafka，步骤相当繁琐。

​ Kafka在使用的过程当中，会出现一些问题。由于重度依赖Zookeeper集群，当Zookeeper集群性能发生抖动时，Kafka的性能也会收到很大的影响。因此，在Kafka发展的过程当中，为了解决这个问题，提供KRaft模式3.0+版本，来取消Kafka对Zookeeper的依赖。

在这里插入图片描述

上图是未使用kraft模式时，依赖Zookeeper集群的一个架构图，做元数据管理、Controller的选举都需要依赖Zookeeper集群。

在这里插入图片描述

在Kafka引入Kraft新内部功能后，对Zookeeper的依赖将会被取消。在 Kraft中，一部分 broker 被指定为控制器，这些控制器提供过去由 ZooKeeper 提供的共识服务。所有集群元数据都将存储在 Kafka 主题中并在内部进行管理。

优势

  • 更简单的部署和管理：通过只安装和管理一个应用程序，Kafka 现在的运营足迹要小得多。这也使得在边缘的小型设备中更容易利用 Kafka；
  • 提高可扩展性：KRaft 的恢复时间比 ZooKeeper 快一个数量级。这使我们能够有效地扩展到单个集群中的数百万个分区。ZooKeeper 的有效限制是数万；
  • 更有效的元数据传播：基于日志、事件驱动的元数据传播可以提高 Kafka 的许多核心功能的性能

Kraft集群节点角色

在这里插入图片描述

在 Kraft 模式下，Kafka 集群可以走专用模式或共享模式运行。

在专用模式下，一些节点将其process.roles配置设置为controller，而其余节点将其设置为broker。

对于共享模式，一些节点将process.roles设置为controller, broker并且这些节点将执行双重任务。采用哪种方式取决于集群的大小。

controller

在KRaft模式下，只有一小部分特别指定的服务器可以作为控制器，在server.properties的process.roles 参数里面配置。不像基于ZooKeeper的模式，任何服务器都可以成为控制器

Process Roles

每个Kafka服务器现在都有一个新的配置项，叫做process.roles, 这个参数可以有以下值:

  • 如果process.roles = broker, 服务器在KRaft模式中充当 broker。
  • 如果process.roles = controller, 服务器在KRaft模式下充当 controller。
  • 如果process.roles = broker,controller，服务器在KRaft模式中同时充当 broker 和controller。
  • 如果process.roles 没有设置。那么集群就假定是运行在ZooKeeper模式下。

Quorum Voters

​ 系统中的所有节点都必须设置 controller.quorum.voters 配置。这个配置标识有哪些节点是 Quorum 的投票者节点。所有想成为控制器的节点都需要包含在这个配置里面。

controller.quorum.voters 配置需要包含每个节点的id。格式为: id1@host1:port1,id2@host2:port2

那么假如有7个broker和3个controller，分别是controller1、controller2、controller3，那么在controller1中的server.properties中会有如下配置：

process.roles=controller
node.id=1
listeners=CONTROLLER://controller1.example.com:9093
controller.quorum.voters=1@controller1:9093,2@controller2:9093,3@controller3:9093

每个broker和每个controller 都必须设置 controller.quorum.voters。需要注意的是，controller.quorum.voters 配置中提供的节点ID必须与提供给服务器的节点ID匹配。

Kraft单机模式

Kafka是依赖于JDK的，需要先把java环境配置一下

到kafka官方地址下载需要的kafka版本即可。下载地址

在这里插入图片描述

# 下载
wget https://archive.apache.org/dist/kafka/3.2.3/kafka_2.12-3.2.3.tgz

# 解压
tar -zxvf kafka_2.12-3.2.3.tgz

解压完毕后，到里面看下目录结构

在这里插入图片描述

可以配置一下hosts域名解析(不配置也可以，后面需要用到的配置中直接写localhost就行)

hostnamectl set-hostname kafka1

然后去修改config/kraft/server.properties

# 表示此节点，既是broker又可以当controller
process.roles=broker,controller
# 节点id，不重名即可
node.id=1
# controller竞争者，也就是controller将从它们之中诞生(这里的kafka1是刚刚设置的本机的域名解析，或者直接写localhost也行)
controller.quorum.voters=1@kafka1:9093
listeners=PLAINTEXT://:9092,CONTROLLER://:9093
# 监听地址(也就是客户端连接时访问的地址)
advertised.listeners=PLAINTEXT://192.168.1.38:9092
controller.listener.names=CONTROLLER
# kafka数据存放地址
log.dirs=/wlh/kafka/data

整理完毕后，初始化一下数据存储目录

# 生成一个uuid，后面需要用
./bin/kafka-storage.sh random-uuid
# 示例如下：
NxAPV0sdTtSDsMN2IwDgPA

# 格式化存储
./bin/kafka-storage.sh format -t xtzWWN4bTjitpL3kfd9s5g -c ./config/kraft/server.properties

格式化完毕后，可以启动节点了(守护进程启动加-daemon 参数)。

./bin/kafka-server-start.sh -daemon ./config/kraft/server.properties

启动完毕后，可以进行连接访问kafka服务器了。记得把防火墙关了，或者只开放9092端口即可。

systemctl stop firewalld

若跨机器访问，如使用windows连接，可以先tcping一下，看看kafka服务器的状态是否正常。

在这里插入图片描述

可以看到，没有问题。kafka可视化管理页面https://gitee.com/dushixiang/kafka-map/，有兴趣可以自行搭建。

这里用cmd命令行测试下。

  • 服务器创建topic–kafka-test

    bin/kafka-topics.sh --create --topic kafka-test --partitions 1 --replication-factor 1 --bootstrap-server kafka1:9092

  • 创建生产者、消费者

    # 生产者
kafka-console-producer.bat --broker-list 192.168.1.38:9092 --topic kafka-test

# 消费者
kafka-console-consumer.bat --bootstrap-server 192.168.1.38:9092 --topic kafka-test

在这里插入图片描述

完事儿收工。

kraft集群模式

集群模式和单机模式大差不差，就是配置文件多了的问题。由于机器数量有限，这里就不展示多台服务器的了，看下单台机器部署集群。

准备好3个kafka，分别是kafka01、kafka02、kafka03，分别到它们的config/kraft/server.properties中做配置

kafka01

process.roles=broker,controller
node.id=1
controller.quorum.voters=1@localhost:19093,2@localhost:29093,3@localhost:39093
listeners=PLAINTEXT://:19092,CONTROLLER://:19093
advertised.listeners=PLAINTEXT://192.168.1.38:19092
controller.listener.names=CONTROLLER
log.dirs=/wlh/kafka01/data

kafka02

process.roles=broker,controller
node.id=2
controller.quorum.voters=1@localhost:19093,2@localhost:29093,3@localhost:39093
listeners=PLAINTEXT://:29092,CONTROLLER://:29093
advertised.listeners=PLAINTEXT://192.168.1.38:29092
controller.listener.names=CONTROLLER
log.dirs=/wlh/kafka02/data

kafka03

process.roles=broker,controller
node.id=3
controller.quorum.voters=1@localhost:19093,2@localhost:29093,3@localhost:39093
listeners=PLAINTEXT://:39092,CONTROLLER://:39093
advertised.listeners=PLAINTEXT://192.168.1.38:39092
controller.listener.names=CONTROLLER
log.dirs=/wlh/kafka03/data

配置做完后，生成uuid且格式化它们的存储目录

# 生成一个uuid，后面需要用
/wlh/kafka01/bin/kafka-storage.sh random-uuid
# 示例如下：
NxAPV0sdTtSDsMN2IwDgPA

# 格式化存储
/wlh/kafka01/bin/kafka-storage.sh format -t xtzWWN4bTjitpL3kfd9s5g -c /wlh/kafka01/config/kraft/server.properties
/wlh/kafka02/bin/kafka-storage.sh format -t xtzWWN4bTjitpL3kfd9s5g -c /wlh/kafka02/config/kraft/server.properties
/wlh/kafka03/bin/kafka-storage.sh format -t xtzWWN4bTjitpL3kfd9s5g -c /wlh/kafka03/config/kraft/server.properties

# 分别启动它们
/wlh/kafka01/bin/kafka-server-start.sh -daemon /wlh/kafka01/config/kraft/server.properties
/wlh/kafka02/bin/kafka-server-start.sh -daemon /wlh/kafka01/config/kraft/server.properties
/wlh/kafka03/bin/kafka-server-start.sh -daemon /wlh/kafka01/config/kraft/server.properties

命令测试一下kafka集群。

kafka1/bin/kafka-topics.sh --create --topic kafka-test --partitions 1 --replication-factor 1 --bootstrap-server 192.168.1.38:19092

# 生产者
kafka-console-producer.bat --broker-list 192.168.1.38:19092,192.168.1.38:29092,192.168.1.38:39092 --topic kafka-test

# 消费者
kafka-console-consumer.bat --bootstrap-server 192.168.1.38:19092,192.168.1.38:29092,192.168.1.38:39092 --topic kafka-test

在这里插入图片描述

完事儿，大功告成！！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/99691.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【Qt专栏】实现单例程序，禁止程序多开的几种方式

【Qt专栏】实现单例程序，禁止程序多开的几种方式

目录 一，简要介绍 二，实现示例（Windows） 1.使用系统级别的互斥机制 2.通过共享内存（进程间通信-IPC） 3.使用命名互斥锁（不推荐） 4.使用文件锁 5.通过网络端口检测 一&#xf…
阅读更多...
通过 Jetbrains GateWay实现Remote Development

通过 Jetbrains GateWay实现Remote Development

本次环境准备 环境准备：win10、一台安装有树莓派系统的树莓派（也可以是其他的服务器） 第一步：通过官网下载JetBrains Gateway 官网地址：https://www.jetbrains.com/remote-development/gateway/ 第二步：安装…
阅读更多...
【Hadoop】HDFS读写流程和客户端命令使用

【Hadoop】HDFS读写流程和客户端命令使用

🍁 博主 "开着拖拉机回家"带您 Go to New World.✨🍁 🦄 个人主页——🎐开着拖拉机回家_Linux,Java基础学习,大数据运维-CSDN博客 🎐✨🍁 🪁🍁 希望本文能够给您带来一定的…
阅读更多...
论文阅读_变分自编码器_VAE

论文阅读_变分自编码器_VAE

英文名称: Auto-Encoding Variational Bayes 中文名称: 自编码变分贝叶斯 论文地址: http://arxiv.org/abs/1312.6114 时间: 2013 作者: Diederik P. Kingma, 阿姆斯特丹大学 引用量: 24840 1 读后感 VAE 变分自编码（Variational Autoencoder）是一种生…
阅读更多...
【精算研究01/10】 计量经济学的性质和范围

【精算研究01/10】 计量经济学的性质和范围

一、说明 计量经济学是使用统计方法来发展理论或测试经济学或金融学中的现有假设。计量经济学依赖于回归模型和零假设检验等技术。计量经济学也可以用来预测未来的经济或金融趋势。 图片来源：https://marketbusinessnews.com 二、 计量经济之简介 计量经济学是对经济…
阅读更多...
Unity关键概念

Unity关键概念

Unity是一款跨平台的游戏引擎和开发工具，用于创建2D和3D游戏、交互式内容和应用程序。它提供了一个强大的开发环境，使开发者能够轻松地设计、开发和部署高质量的游戏和应用程序。 以下是Unity的几个关键概念： 游戏对象（Game Obj…
阅读更多...
JS中方法、函数、属性是一个东西吗

JS中方法、函数、属性是一个东西吗

在 JavaScript 中，方法、函数和属性是相关但不完全相同的概念。 方法（Method）：在对象中，方法是对象的属性，但它的值是一个函数。方法可以通过对象来调用，并且可以访问对象的属性和其他方法。 …
阅读更多...
Android 编译系统(Build System)剖析

Android 编译系统(Build System)剖析

Android Build System剖析 Android预构建应用是如何制作的，背后的构建系统又是什么？ 本文旨在分享关于Android构建系统以及与原始设备制造商（OEM）集成的知识，简化理解AOSP复杂机制的过程。与手动查阅各种文件及其内部…
阅读更多...
jmeter做接口压力测试_jmeter接口性能测试

jmeter做接口压力测试_jmeter接口性能测试

jmeter是apache公司基于java开发的一款开源压力测试工具，体积小，功能全，使用方便，是一个比较轻量级的测试工具，使用起来非常简单。因为jmeter是java开发的，所以运行的时候必须先要安装jdk才可以。jmeter是免…
阅读更多...
3D开发工具HOOPS Publish如何快速创建交互式3D PDF文档？

3D开发工具HOOPS Publish如何快速创建交互式3D PDF文档？

HOOPS Publish是一款功能强大的SDK，可以创作丰富的工程数据并将模型文件导出为各种行业标准格式，包括PDF、STEP、JT和3MF。HOOPS Publish核心的3D数据模型是经过ISO认证的PRC格式(ISO 14739-1:2014)，它为装配树、拓扑和几何、产品制造信息和视…
阅读更多...
【Cookie和Session的那些事儿】

【Cookie和Session的那些事儿】

🌠作者：TheMythWS. 🎆专栏：《集合与数据结构》 🎇座右铭：不走心的努力都是在敷衍自己，让自己所做的选择，熠熠发光。 目录 认识Cookie和Session Cookie Cookie对象的特点 Cookie对…
阅读更多...
学习 使用pandas库 DataFrame 使用

学习 使用pandas库 DataFrame 使用

1 、 数据排序 sort_values()函数 by:要排序的名称或名称列表， sorted_df df.sort_values(byAge,ascendingFalse) 由大到小排序； sorted_df df.sort_values(byAge) 由小到大排序； # 创建一个示例数据帧 data {Name: [Tom, Nick, John…
阅读更多...
【附安装包】Eplan2022安装教程

【附安装包】Eplan2022安装教程

软件下载 软件：Eplan版本：2022语言：简体中文大小：1.52G安装环境：Win11/Win10/Win8/Win7硬件要求：CPU2.5GHz 内存4G(或更高）下载通道①百度网盘丨64位下载链接：https://pan.baidu.co…
阅读更多...
ActiveMQ配置初探

ActiveMQ配置初探

文章目录 配置wrapper相关配置wrapper是干什么用的MQ的运行内存修改【需修改】修改内容题外话 wrapper.log配置【需修改】引起的问题优化方式 activemq.xml相关配置官网介绍配置管理后台的认证授权【建议修改】配置broker【根据自己需求更改】配置允许jmx监控关闭消息通知持久化…
阅读更多...
ubuntu学习（五）----读取文件以及光标的移动

ubuntu学习（五）----读取文件以及光标的移动

1、读取文件函数原型介绍 ssize_t read(int fd,void*buf,size_t count) 参数说明： fd: 是文件描述符 buf:为读出数据的缓冲区； count: 为每次读取的字节数（是请求读取的字节数，读上来的数据保存在缓冲区buf中，同时文…
阅读更多...
基于飞桨图学习框架的空间异配性感知图神经网络

基于飞桨图学习框架的空间异配性感知图神经网络

本期文章将为大家分享飞桨社区开发者肖淙曦、周景博发表于数据挖掘顶会KDD2023的论文《Spatial Heterophily Aware Graph Neural Networks》。 肖淙曦 肖淙曦，百度研究院商业智能实验室研究实习生，中国科学技术大学在读博士生，主要从事时空…
阅读更多...
CSC7203S 应用注意事项

CSC7203S 应用注意事项

CSC7203S 为高性能电流模式 PWM 开关电源功率转换器，满足绿色环保标准；广泛适用于经济型开关电源，如 DVD、机顶盒、传真机、打印机、LCD 显示器等。CSC7203S采用SOP-8封装。  内置 700V 高压功率开关管  输入电压（85V~265V&a…
阅读更多...
【Apollo学习笔记】——规划模块TASK之PATH_ASSESSMENT_DECIDER

【Apollo学习笔记】——规划模块TASK之PATH_ASSESSMENT_DECIDER

文章目录 前言PATH_ASSESSMENT_DECIDER功能简介PATH_ASSESSMENT_DECIDER相关信息PATH_ASSESSMENT_DECIDER总体流程1. 去除无效路径2. 分析并加入重要信息给speed决策SetPathInfoSetPathPointType 3. 排序选择最优的路径4. 更新必要的信息 前言 在Apollo星火计划学习笔记——Ap…
阅读更多...
时序预测 | MATLAB实现TCN-BiGRU时间卷积双向门控循环单元时间序列预测

时序预测 | MATLAB实现TCN-BiGRU时间卷积双向门控循环单元时间序列预测

时序预测 | MATLAB实现TCN-BiGRU时间卷积双向门控循环单元时间序列预测 目录 时序预测 | MATLAB实现TCN-BiGRU时间卷积双向门控循环单元时间序列预测预测效果基本介绍模型描述程序设计参考资料 预测效果 基本介绍 1.MATLAB实现TCN-BiGRU时间卷积双向门控循环单元时间序列预测&a…
阅读更多...
SQL Server开启变更数据捕获（CDC）

SQL Server开启变更数据捕获（CDC）

一、CDC简介 变更数据捕获（Change Data Capture ，简称 CDC）：记录 SQL Server 表的插入、更新和删除操作。开启cdc的源表在插入、更新和删除操作时会插入数据到日志表中。cdc通过捕获进程将变更数据捕获到变更表中，通过…
阅读更多...
最新文章

Copyright @ 2022~2023