04、Kafka ------ 各个功能的作用解释（Cluster、集群、Broker、位移主题、复制因子、领导者副本、主题）

目录

  • 启动命令：
  • CMAK的用法
    • ★ 在CMAK中添加 Cluster
    • ★ 在CMAK中查看指定集群
    • ★ 在CMAK中查看 Broker
    • ★ 位移主题
    • ★ 复制因子
    • ★ 领导者副本和追随者副本
    • ★ 查看主题

启动命令：

1、启动 zookeeper 服务器端
小黑窗输入命令： zkServer

2、启动 zookeeper 的命令行客户端工具

小黑窗输入命令：zkCli -server 127.0.0.1:2181

3、启动 Kafka 服务器：

第1个kafka服务器，也就是第1个节点：端口9092

kafka-server-start E:/install/kafka_2.13-3.6.1/config/server.properties

第2个kafka服务器，也就是第2个节点：端口9093

kafka-server-start E:/install/kafka_2.13-3.6.1/config/server-1.properties

第3个kafka服务器，也就是第3个节点：端口9094

kafka-server-start E:/install/kafka_2.13-3.6.1/config/server-2.properties

4、打开小黑窗，运行如下命令来启动CMAK：

E:/cmak/bin/cmak.bat

5、打开CMAK图形界面

http://localhost:9000/



CMAK的用法

如图，安装完，小黑窗输入 E:\cmak\bin\cmak.bat 命令启动这个cmak之后，发现什么都没有。

http://localhost:9000/

在这里插入图片描述
接下来，演示通过cmak来管理Kafka



★ 在CMAK中添加 Cluster

启动cmak.bat命令后，使用浏览器访问“http://localhost:9000/”即可进入CMAK管理界面

单击管理页面上方的“Cluster”下拉菜单展开的“Add Cluster”菜单项，即可打开添加Cluster的界面。

Kafka 使用 ZooKeerper 管理集群，因此添加集群的关键就是在Cluster ZooKeeper Hosts中输入ZooKeeper的主机地址和端口。

集群名和Kafka版本并不关键

点击这里添加kafka集群：
在这里插入图片描述

输入这三个信息即可。点击save保存即可，然后再去查看创建出来的集群

在这里插入图片描述



★ 在CMAK中查看指定集群

查看集群可看到如下信息：

- ZooKeeper的地址和Kafka版本
- 集群包含多少个主题和多少个Broker（节点）

▲ Kafka 的 topic 和 JMS 的 topic 是完全不同的，Kafka 的 topic 是消息的逻辑容器。
——换而言之，Kafka 的 topic 是用来装消息的。

在这里插入图片描述



★ 在CMAK中查看 Broker

通过页面上方的“Brokers”链接，即可进入Broker列表页面。
通过Broker列表页面中任一Broker的id链接，即可查看该Broker的详细信息，可看到该Broker的
- ID
- 主题数
- 分区数
- 领导者分区数

该主题的复制因子为1，这意味着每个分区仅有一个副本，因此该副本只能是领导者分区，只不过它没有追随者分区。

在这里插入图片描述
点击broker的id进入这里：

在这里插入图片描述

启动这个kafka节点，对应的就是这个brokers

在这里插入图片描述



主题的详细信息：
这个是kafka内部自己建立的主题，叫位移主题，

在这里插入图片描述

点开每个kafka节点，加起来一共有50个分区。
在这里插入图片描述



★ 位移主题

Kafka默认就有一个名为“__consumer_offsets”的主题，该主题是Kafka自动创建的内部主题：位移主题。

它用于保存Kafka内部的位移信息，一般不建议手动管理它，让系统自己管理它是最好的。

位移主题的消息格式也是Kafka自定义的，用户不能修改。

开发者不应该向位移主题写入消息，否则一旦写入的消息格式不满足Kafka的定义，那就会导致Broker崩溃。

加深理解：

比如rocketmq、rabbitmq这些消息中间件，它们的消息是放在消息队列里面的，如果消息被消费完后，该消息就会被移除该消息队列。

而 Kafka 是一个数据流平台，kafka 是把消息存放在分区（或者说主题，主题包含分区）里面的，当消息被消费完，该消息也不会被移除掉。

因为消费完的消息没有被移除掉，所以就需要这个内部主题–>【位移主题】这个机制来记录我们消息已经消费到哪个位置了。它存储kafka内部相关的位移信息。

在这里插入图片描述

这个位移主题不需要我们做任何操作。了解就好。

在这里插入图片描述



★ 复制因子

——控制主题内分区副本的数量。

主题由多个分区组成。

复制因子控制主题内各分区的副本的数量，复制因子为1，表明每个分区的副本数量为1——也就是所有分区仅有1个副本。

复制因子必须大于或等于1，这意味着每个分区至少要有一个副本。

Kafka的副本机制（也可称为备份机制）仅提供数据冗余功能。

在这里插入图片描述



★ 领导者副本和追随者副本

比如将某个主题的复制因子设为3，那意味着该主题内每个分区都有3个副本，

这3个副本中有1个是“领导者（leader）副本”，该领导者副本负责与客户端交互（接受客户端读、写操作），

另外2个是“追随者（follower）副本”，追随者副本完全不能与客户端交互，
追随者副本仅仅只是作为“领导者副本”的后备（自动与领导者副本的数据保持同步、但会有一定的滞后性）。

领导者副本与追随者副本并不位于同一个Broker上，当“领导者副本”挂掉之后， Kafka会从追随者副本中重新选一个（专业术语叫选举：elect）作为新的“领导者副本”。

若将某个主题的复制因子设为1，那意味着该主题内每个分区只有1个副本，该分区副本也就是领导者副本。

就像是公司的技术部，只有我一个人，那么部门领导者是我，追随者也是我。

=======================

领导者分区有几个追随者分区，取决于我们设置的复制因子有多少，如果复制因子是3，那么就意味着每个领导者分区 2个 追随者分区。

复制因子是3 ，就表明有3个分区，其中1个是领导者分区，2个是追随者分区。



★ 查看主题

Kafka会将主题内的分区“分摊”到不同 broker 节点上，从而让不同节点能并行地向客户端提供服务
——这是Kafka性能优秀的关键。

查看主题可看到如下信息：

  • 包含多少分区

  • 分区分布在几个Broker上

  • 分布率多少：从提升性能角度来看，肯定是分布率越高越好，分布率越好就意味着更多的节点可以一起为该主题对外提供服务。

  • 单击“Add Partition”可添加分区

  • 单击“Generate Partition Assignments” 和 “Run Partition Assignments”按钮可对分区进行重新分布。

加深理解：
一个程序从一个主题获取消息，这个主题只是一个逻辑的东西，这个主题下面还有50个分区，这些分区假如分布到10个broker节点里面去，那么我们从这个主题获取消息的时候，Kafka 内部会用负载均衡的方式依次自动的从这10个节点里面去提取消息给我们访问。

Kafka的 broker 节点是可以无限增加的，这种机制可以很方便的扩充kafka 容量。

如果分区访问速度慢了，性能降低的话，也可以修改分区的数量

分区跟主题是很重要的一个概念，它们对kafka的性能有关键性的影响。
在这里插入图片描述

可以修改分区之类的配置。

在这里插入图片描述

这个是kafka集群信息：
在这里插入图片描述

这个是主题信息：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/302556.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Java桶排序、基数排序、剪枝算法

Java桶排序、基数排序、剪枝算法

桶排序算法 桶排序的基本思想是： 把数组 arr 划分为 n 个大小相同子区间（桶），每个子区间各自排序，最后合并 。计数排序是桶排序的一种特殊情况，可以把计数排序当成每个桶里只有一个元素的情况。 1.找出待…
阅读更多...
数字孪生与物联网（IoT）技术的结合

数字孪生与物联网（IoT）技术的结合

数字孪生与物联网（IoT）技术的结合可以在多个领域实现更智能、更高效的应用。以下是数字孪生在物联网技术中的一些应用，希望对大家有所帮助。北京木奇移动技术有限公司，专业的软件外包开发公司，欢迎交流合作。 1.实时监…
阅读更多...
lazada越南站收款问题；lazada可以使用支付宝吗？-站斧浏览器

lazada越南站收款问题；lazada可以使用支付宝吗？-站斧浏览器

Lazada越南站收款问题 线上支付方式：Lazada越南本土店提供多种线上支付方式，以方便消费者完成购物支付。常见的线上支付方式包括信用卡支付、借记卡支付、电子钱包支付（如Momo、Zalo Pay等）以及银行转账等。商家可以根据自己的需…
阅读更多...
[VUE]4-状态管理vuex

[VUE]4-状态管理vuex

目录 状态管理 vuex 1、vuex 介绍 2、安装 3、使用方式 4、总结 🍃作者介绍：双非本科大三网络工程专业在读，阿里云专家博主，专注于Java领域学习，擅长web应用开发、数据结构和算法，初步涉猎Python人工智…
阅读更多...
集成电路封装基板技术

集成电路封装基板技术

集成电路(IC)封装是伴随集成电路的发展而前进的。随着宇航、航空、机械、轻工、化工等各个行业的不断发展，整机也向着多功能、小型化方向变化。这样，就要求IC的﹐集成度越来越高，功能越来越复杂。相应地要求集成电路封装密度越来越大&#xf…
阅读更多...
【Element】el-form和el-table嵌套实现表格编辑并提交表单校验

【Element】el-form和el-table嵌套实现表格编辑并提交表单校验

目录 一、背景 二、功能实现 2.1、el-form和el-table嵌套说明 2.2、具体代码 三、实际项目应用 3.1、增加添加与删除操作 3.2、添加和删除代码 3.4、实际效果 一、背景 页面需要用到表格采集用户数据，提交时进行表单校验；即表单中嵌套着表格&am…
阅读更多...
散列分区（hash分区）案例

散列分区（hash分区）案例

在列取值难以确定的情况下采用的分区方法 1.hash分区可以由hash键来分布 2.dba无法获知具体的数据值 3.数据的分布由oracle处理 4每个分区有自己的表空间 --建表同上一节 CREATE TABLE ware_retail_part3( id INTEGER primary key, retail_date date, ware_na…
阅读更多...
软件测试|深入理解Python的encode()和decode()方法

软件测试|深入理解Python的encode()和decode()方法

简介 在Python中，字符串是不可变的序列对象，它由Unicode字符组成。当我们需要在字符串和字节之间进行转换时，Python提供了两个非常重要的方法：encode()和decode()。这两个方法允许我们在Unicode字符和字节之间进行相互转换&#…
阅读更多...
harmonyOS 时间选择组件(TimePicker)

harmonyOS 时间选择组件(TimePicker)

本文 我们来说 TimePicker 时间组件 首先 我们搭一个最基本的组件骨架 Entry Component struct Index {build() {Row() {Column() {}.width(100%)}.height(100%)} }然后 在 Column 组件内 放一个 TimePicker进去 这里 我们就可以看到 一个时间的选择器了 DatePicker 捕获当前…
阅读更多...
【JUC进阶】13. InheritableThreadLocal

【JUC进阶】13. InheritableThreadLocal

目录 1、前言 2、回顾ThreadLocal 3、InheritableThreadLocal 4、实现原理 5、线程池中的问题 6、小结 1、前言 在《【JUC基础】14. ThreadLocal》一文中，介绍了ThreadLocal主要是用于每个线程持有的独立变量。通俗的说就是ThreadLocal是每个线程独有的一份内…
阅读更多...
基于ssm的双减后初小教育课外学习生活活动平台的设计与实现论文

基于ssm的双减后初小教育课外学习生活活动平台的设计与实现论文

双减后初小教育课外学习生活活动平台的设计与实现 摘 要 当下，正处于信息化的时代，许多行业顺应时代的变化，结合使用计算机技术向数字化、信息化建设迈进。以前学校对于课外学习活动信息的管理和控制，采用人工登记的方式保存相关…
阅读更多...
Spring——基于注解的AOP配置

Spring——基于注解的AOP配置

基于注解的AOP配置 1.创建工程 1.1.pom.xml <?xml version"1.0" encoding"UTF-8"?> <project xmlns"http://maven.apache.org/POM/4.0.0"xmlns:xsi"http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation"…
阅读更多...
多功能环境模拟试验系统

多功能环境模拟试验系统

1、模拟自然条件下的气候环境、海洋环境、工业环境&#xff1b; 2、人工气候环境下各种工程材料、结构的耐久性试验&#xff1b; 3、人工气候环境混凝土结构热学性能及早期特性试验&#xff1b; 4、人工气候环境混凝土结构裂缝控制研究&#xff1b; 5、海洋环境下工程材料、…
阅读更多...
模式识别实验三

模式识别实验三

实验三 一  实验名称 感知器设计 二 目的和意义 使用感知器完成线性分类任务 三 操作步骤或算法结构 数据预处理。载入数据文件&#xff08; iris.csv 文件&#xff09;中的数据&#xff0c;并将其分成样本向量矩阵X和样本分类结果向量 G \bf G G。 给 4 4 4 列向量的…
阅读更多...
Objective-C中使用STL标准库Queue队列

Objective-C中使用STL标准库Queue队列

1.修改.m文件为mm 2.导入queue头 #include<queue> 3.使用&#xff1a; #import <Foundation/Foundation.h> #include <cmath> #include <queue> using namespace std;int main(int argc, const char * argv[]) {autoreleasepool {NSLog("C标准…
阅读更多...
软件测试|Python中的变量与关键字详解

软件测试|Python中的变量与关键字详解

简介 在Python编程中&#xff0c;变量和关键字是非常重要的概念。它们是构建和控制程序的基本要素。本文将深入介绍Python中的变量和关键字&#xff0c;包括它们的定义、使用方法以及一些常见注意事项。 变量 变量的定义 变量是用于存储数据值的名称。在Python中&#xff0…
阅读更多...
RT-Thread: CPU 使用率应用

RT-Thread: CPU 使用率应用

关键词&#xff1a;RT-Thread cpu使用率&#xff0c;cpuusage.c , cpuusage.h 说明&#xff1a;使用 RT-Thread 希望知道 mcu 计算能力的使用率或cpu使用率。 注意&#xff1a;在调试CUP使用率时&#xff0c;根据参考资料移植了 cpuusage.c , cpuusage.h ,也调用了 void cpu_…
阅读更多...
【C/C++】轻量级跨平台 开源串口库 CSerialPort

【C/C++】轻量级跨平台 开源串口库 CSerialPort

文章目录 1、简介2、支持的平台3、已经支持的功能4、Linux下使用5、使用vcpkg安装CSerialPort6、交叉编译7、效果图8、基于CSerialPort的应用8.1、CommMaster通信大师8.2、CommLite串口调试器 1、简介 Qt 的QSerialPort 已经是跨平台的解决方案&#xff0c;但Qt开发后端需要 Q…
阅读更多...
面试算法100：三角形中最小路径之和

面试算法100：三角形中最小路径之和

题目 在一个由数字组成的三角形中&#xff0c;第1行有1个数字&#xff0c;第2行有2个数字&#xff0c;以此类推&#xff0c;第n行有n个数字。例如&#xff0c;下图是一个包含4行数字的三角形。如果每步只能前往下一行中相邻的数字&#xff0c;请计算从三角形顶部到底部的路径经…
阅读更多...
高级RAG(五)：TruLens 评估-扩大和加速LLM应用程序评估

高级RAG(五)：TruLens 评估-扩大和加速LLM应用程序评估

之前我们介绍了&#xff0c;RAGAs评估&#xff0c;今天我们再来介绍另外一款RAG的评估工具:TruLens , trulens是TruEra公司的一款开源软件工具&#xff0c;它可帮助您使用反馈功函数客观地评估基于 LLM 的应用程序的质量和有效性。反馈函数有助于以编程方式评估输入、输出和中间…
阅读更多...
最新文章

Copyright @ 2022~2023