【运维】Kafka高可用： KRaft（不依赖zookeeper）集群搭建

文章目录

  • 一. kafka kraft 集群介绍
    • 1. KRaft架构
    • 2. Controller 服务器
    • 3. Process Roles
    • 4. Quorum Voters
  • 二. 集群安装
    • 1. 安装
      • 1.1. 配置
      • 1.2. 格式化
    • 2. 启动测试
      • 2.1. 启功节点服务
      • 2.2. 测试

本文主要介绍了

  • kafka raft集群架构：
    与旧架构的不同点，有哪些优势，哪些问题
    架构成员有哪些，怎么规划。
  • 三节点集群安装、启动与测试

一. kafka kraft 集群介绍

1. KRaft架构

在这里插入图片描述

在旧的架构中

Kafka集群包含多个broker节点和一个ZooKeeper 集群。如上图集群结构：4个broker节点和3个ZooKeeper节点。Kafka 集群的controller在被选中后，会从 ZooKeeper 中加载它的状态。选举controller的过程是由zookeeper自动完成的。

 

在新的架构中

三个 controller 节点替代三个ZooKeeper节点。 controller节点和 broker 节点运行在不同的进程中。这些controller 节点中会选择一个成为Leader。新的架构中，controller不会向 broker 推送更新，而是 broker 从 controller Leader 拉取元数据的更新信息。

尽管 controller 进程在逻辑上与 broker 进程是分离的，但它们不需要在物理上分离。即在某些情况下，部分或所有 controller 进程和 broker 进程是可以是同一个进程，即一个broker节点即是broker也是controller。

 

2. Controller 服务器

在KRaft模式下，通过指定某些服务器作为控制器，在Server.properties的Process.roles 参数里面配置。

不像基于ZooKeeper的模式，（zk去做的事情，我们手动配置不了）任何服务器都可以成为控制器。这带来了一个非常优秀的好处，即如果我们认为 controller 节点的负载会比其他只当做broker节点高，那么可以为 controller 节点使用高配的机器。这就解决了在1.0, 2.0架构中， controller 节点会比其他节点负载高，却无法控制哪些节点能成为 controller 节点的问题。

被（手动配置）选中的 controller 节点将参与元数据集群的选举。对于当前的 controller 节点，每个控制器服务器要么是Active的，要么是Standby的。

用户通常会选择3或5台(奇数台)服务器成为 controller 节点，3和5的个数问题和Raft的原理一样，少数服从多数。

就像使用ZooKeeper一样，为了保持可用性，你必须让大部分 controller 保持active状态。如果你有3个controller，你可以容忍1个故障；在5个控制器中，您可以容忍2个故障。

 

3. Process Roles

在KRaft模式下，每个Kafka服务器都有一个新的配置项，叫做process.roles, 这个参数可以有以下值:

  • 如果process.roles = broker, 服务器在KRaft模式中充当 broker。
  • 如果process.roles = controller, 服务器在KRaft模式下充当 controller。
  • 如果process.roles = broker,controller，服务器在KRaft模式中同时充当 broker 和controller。

注意：如果process.roles 没有设置。那么集群就假定是运行在ZooKeeper模式下。

对于简单的场景，组合节点更容易运行和部署，可以避免多进程运行时，JVM带来的相关的固定内存开销。但controller将较少地与系统的其余部分隔离。例如，如果代理上的活动导致内存不足，controller也会受到例如OOM的影响。

 

4. Quorum Voters

系统中的所有节点都必须设置 controller.quorum.voters 配置。用于配置所有想成为controller的节点。

 

如果你有10个broker和 3个controller1，分别命名为controller1、controller2、controller3，你可能在 controller1上有以下配置:

process.roles=controller
node.id=1
listeners=CONTROLLER://controller1.example.com:9093
controller.quorum.voters=1@controller1.com:9093,2@controller2.com:9093,3@controller3.com:9093

controller.quorum.voters配置格式说明：nodeid1@controller-node1:9093,nodeid2@controller-node2:9093,nodeid3@controller-node3:9093

 
如果你只有三个节点，每个节点都是controller，broker角色，那么每个节点都这样配置

process.roles=broker,controller
listeners=CONTROLLER://controller1.example.com:9093
controller.quorum.voters=1@controller1.com:9093,2@controller2.com:9093,3@controller3.com:9093

 

二. 集群安装

进行三个节点的安装，如下规划：

节点node.id角色
node11controller,broker
node22controller,broker
node33controller,broker

1. 安装

kafka下载: https://kafka.apache.org/downloads
解压

tar -zxvf kafka_2.13-3.0.0.tgz

1.1. 配置

在node1中配置：server.properties

在{KAFKA_HOME}/config/kraft/server.properties

############################# Server Basics #############################

java.home=/opt/jvm/java

# The role of this server. Setting this puts us in KRaft mode
process.roles=broker,controller

# The node id associated with this instance's roles
node.id={{broker_id}}

# The connect string for the controller quorum
# 每个节点配置都一样：格式：{{broker_id_1}}@{{hostname1}}:9093,{{broker_id_2}}@{{hostname2}}:9093,{{broker_id_3}}@{{hostname3}}:9093
controller.quorum.voters={{voters}}


############################# Log Basics #############################

# A comma separated list of directories under which to store log files
# 数据存储目录
log.dirs=/opt/kafka3.5.0/logs

配置node2、node3，其余两个节点配置除了node.id不同，其他配置都相同。node.id配置如上节点规划。

 

1.2. 格式化

生成集群 ID

整个集群唯一的ID标志

$ ./bin/kafka-storage.sh random-uuid
qGuAL6YzRyWQdzt4cQTZgA

 

格式化存储目录

使用上面生成集群 uuid, 在三个节点上都执行格式化存储目录命令：

$ ./bin/kafka-storage.sh format \
-t xtzWWN4bTjitpL3kfd9s5g \
-c ./config/kraft/server.properties

 

2. 启动测试

2.1. 启功节点服务

在每个节点上执行

$ ./bin/kafka-server-start.sh ./config/kraft/server.properties

 

2.2. 测试

# 创建topic
$ bin/kafka-topics.sh --create \
--topic quickstart-events \
--bootstrap-server localhost:9092


# 查看topic信息
$ bin/kafka-topics.sh --describe \
--topic quickstart-events \
--bootstrap-server localhost:9092

Topic: quickstart-events        TopicId: NPmZHyhbR9y00wMglMH2sg PartitionCount: 1       ReplicationFactor: 1	Configs:
    Topic: quickstart-events Partition: 0    Leader: 0   Replicas: 0 Isr: 0


# 生产消息
$ bin/kafka-console-producer.sh \
--topic quickstart-events  \
--bootstrap-server localhost:9092

This is my first event
This is my second event


#消费数据
$ bin/kafka-console-consumer.sh \
--topic quickstart-events \
--from-beginning --bootstrap-server localhost:9092

This is my first event
This is my second event

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/239876.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

ISP去噪（2）_np 噪声模型

ISP去噪（2）_np 噪声模型

#灵感# ISP 中的去噪，都需要依赖一个噪声模型。很多平台上使用采集的raw进行calibration，可以输出这个模型，通常称为 noise profile。 名词解释： Noise profile 似乎可以翻译成“噪声档案”，其含义是某个噪声源&…
阅读更多...
昇腾910安装驱动出错，降低Centos7.6的内核版本

昇腾910安装驱动出错，降低Centos7.6的内核版本

零、问题描述： 在安装Atlas800-9000服务器的驱动的时候，可能会出现错误：Dkms install failed, details in : /var/log/ascend_seclog/ascend_install.log 如下所示： [rootlocalhost ~]# ./Ascend-hdk-910-npu-driver_23.0.rc3_l…
阅读更多...
数字孪生项目的开发框架

数字孪生项目的开发框架

数字孪生的开发框架提供了一套工具和API，使开发者能够创建和管理数字孪生模型。这些框架通常包括虚拟建模、仿真、数据集成和分析等功能。以下是一些常见的数字孪生开发框架，希望对大家有所帮助。北京木奇移动技术有限公司，专业的软件外包开发…
阅读更多...
python matplotlib set_aspect

python matplotlib set_aspect

说明: # 设置轴比例相等，以获得圆柱体视角 ax.set_aspect(equal) 代码案例: import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D import numpy as np# 创建数据 theta np.linspace(0, 2*np.pi, 100) z np.linspace(0, 1, 100) r z**2 …
阅读更多...
k8s集群部署及可视化kuboard 部署

k8s集群部署及可视化kuboard 部署

目录 一.准备环境 1.准备三台服务器 2.做域名解析[集群] 3.时间同步[集群] 4.关闭防火墙与selinux[集群] 5.配置静态ip[集群] 6.关闭swap分区[集群] 7.注意： 二.docker部署[集群] 2.安装最新版 3.查看Docker版本： 4.启动Docker服务&#xff1…
阅读更多...
maui sqlite开发一个商城加购物车的演示(3)

maui sqlite开发一个商城加购物车的演示(3)

购物车界面及代码 <?xml version"1.0" encoding"utf-8" ?> <ContentPage xmlns"http://schemas.microsoft.com/dotnet/2021/maui"xmlns:x"http://schemas.microsoft.com/winfx/2009/xaml"xmlns:syncfusion"clr-namesp…
阅读更多...
基于51单片机的语音识别控制系统

基于51单片机的语音识别控制系统

0-演示视频 1-功能说明 &#xff08;1&#xff09;使用DHT11检测温湿度&#xff0c;然后用LCD12864显示&#xff0c;语音播放&#xff0c;使用STC11l08xe控制LD3320做语音识别&#xff0c; &#xff08;2&#xff09;上电时语音提示&#xff1a;欢迎使用声音识别系统&#xf…
阅读更多...
微信小程序改变checkbox大小

微信小程序改变checkbox大小

.weui-cell__hd {transform: scale(0.6,0.6);} <checkbox color"#447189" />
阅读更多...
Qt12.12

Qt12.12

头文件&#xff1a; #ifndef WIDGET_H #define WIDGET_H#include <QWidget> #include <QTime> #include <QTimer> #include <QTimerEvent> #include <QTextToSpeech> //文本转语言类QT_BEGIN_NAMESPACE namespace Ui { class Widget; } QT_END_…
阅读更多...
Dockerfile创建镜像--LNMP+wordpress

Dockerfile创建镜像--LNMP+wordpress

实验准备&#xff1a; nginx&#xff1a;172.111.0.10 docker-nginx mysql&#xff1a;172.111.0.20 docker-mysql php&#xff1a;172.111.0.30 docker-php 自定义网段&#xff1a;172.111.0.0/16mkdir nginx mysql php mv nginx-1.22.0.tar.gz wordpress-6.4.2-zh_CN.ta…
阅读更多...
Java实现选择排序及其动图演示

Java实现选择排序及其动图演示

选择排序是一种简单直观的排序算法。它的基本思想是每次从未排序的元素中选出最小&#xff08;或最大&#xff09;的元素&#xff0c;然后将其放到已排序的序列的末尾。具体步骤如下&#xff1a; 首先&#xff0c;找到未排序序列中的最小&#xff08;或最大&#xff09;元素&a…
阅读更多...
Linux实用操作（超级实用）

Linux实用操作（超级实用）

Linux实用操作篇-上篇&#xff1a;Linux实用操作-上篇-CSDN博客 Linux实用操作篇-下篇&#xff1a;Linux实用操作篇-下篇-CSDN博客 一、各类小技巧&#xff08;快捷键&#xff09; 1.1 ctrl c 强制停止 Linux某些程序的运行&#xff0c;如果想要强制停止它&#xff0c;可以…
阅读更多...
BigDecimald简单使用

BigDecimald简单使用

为什么要用BigDecimal运算 在计算浮点型数据时,往往会存在数据计算失真问题 例1 2.0 - 1.9 应该等于0.1,用float类型赋值运算得出的结果为0.100000024,有问题 例2 1.8 - 1.9 应该等于 -0.1,用double类型赋值得出的结果为-0.09999999999999987,明显有问题 BigDecimal使用 BigDec…
阅读更多...
1.6 实战：Postman请求Get接口-获取用于登录的图形验证码

1.6 实战：Postman请求Get接口-获取用于登录的图形验证码

上一小节我们学习了Postman的布局，对Postman有了一个整体的认知，本小节我们就来实操一下Get接口。 我们打开Postman，点击我们之前创建的请求”获取登录页验证码“。我们在地址栏里填入获取登录页验证码的接口地址。怎么查看这个接口地址呢？我们打开校园二手交易系统，打开…
阅读更多...
scala数据类型

scala数据类型

scala安装使用教程_一篇搞定&#xff01;-CSDN博客 1.7 Scala数据类型 # Any是所有类型的父类它定义了一些通用的方法如equals、hashCode和toString。Any有两个直接子类&#xff1a;AnyVal和AnyRef。 # AnyVal是所有值类型的父类有9个预定义的非空的值类型分别是&#xff1a;D…
阅读更多...
leetcode-24-两两交换链表中的节点（C语言实现）

leetcode-24-两两交换链表中的节点（C语言实现）

题目&#xff1a; 给你一个链表&#xff0c;两两交换其中相邻的节点&#xff0c;并返回交换后链表的头节点。你必须在不修改节点内部的值的情况下完成本题&#xff08;即&#xff0c;只能进行节点交换&#xff09;。 示例 1&#xff1a; 输入&#xff1a;head [1,2,3,4] 输出&…
阅读更多...
jsp 动物疾病诊断管理系Myeclipse开发mysql数据库web结构java编程计算机网页项目

jsp 动物疾病诊断管理系Myeclipse开发mysql数据库web结构java编程计算机网页项目

一、源码特点 JSP 动物疾病诊断管理系统是一套完善的java web信息管理系统&#xff0c;对理解JSP java编程开发语言有帮助&#xff0c;系统具有完整的源代码和数据库&#xff0c;系统主要采用B/S模式开发。开发环境为 TOMCAT7.0,Myeclipse8.5开发&#xff0c;数据库为Mysq…
阅读更多...
【Python】手把手教你用tkinter设计图书管理登录UI界面（四）

【Python】手把手教你用tkinter设计图书管理登录UI界面（四）

上一篇&#xff1a;【Python】手把手教你用tkinter设计图书管理登录UI界面&#xff08;三&#xff09;-CSDN博客 下一篇&#xff1a; 本文主要阐述完成“用户密码找回”&#xff0c;诸位且看我如何实现吧&#xff01; 为了方便使用“已注册用户数据库.txt”的数据&#xff0…
阅读更多...
input、el-input输入框输入规则

input、el-input输入框输入规则

一、input 只能输入框只能输入正整数&#xff0c;输入同时禁止了以0开始的数字输入&#xff0c;防止被转化为其他进制的数值。 <!-- 不能输入零时--> <input typetext οninput"valuevalue.replace(/^(0)|[^\d]/g,)"><!-- 能输入零时--> <inp…
阅读更多...
AI 绘画快速开始-StableDiffusionWebui

AI 绘画快速开始-StableDiffusionWebui

文章目录 介绍WebUI 的安装和部署参数介绍Prompt技巧初阶Prompt&#xff1a;直接描述的精细化二阶Prompt&#xff1a;巧用标签的扩展三阶Prompt&#xff1a;负面提示词的深入应用四阶Prompt&#xff1a;文本权重调整的细化引入 LoRA&#xff1a;模型特效的创新应用 案例-生成漫…
阅读更多...
最新文章

Copyright @ 2022~2023