04、Kafka集群安装

03、Kafka 集群安装

1、准备工作

首先准备一台虚拟机，centos7系统，先在一台上配置安装后，最后克隆成多台机器。

1.1 安装JDK

（1）下载JDK，上传到 /root/software 路径

下载地址：https://www.oracle.com/cn/java/technologies/downloads/

（2）解压

tar -zxvf jdk-8u411-linux-x64.tar.gz -C /usr/local/

（3）配置环境变量

编辑配置文件：

vim /etc/profile

在文本末尾添加：

export JAVA_HOME=/usr/local/jdk1.8.0_411
export PATH=$PATH:$JAVA_HOME/bin

保存并退出，输入下面命令使配置生效：

source /etc/profile

查看是否生效：

echo $JAVA_HOME

结果为我们配置的路径即可。

1.2 zookeeper 下载安装

（1）下载 zookeeper，上传到 /root/software 路径

下载地址：https://dlcdn.apache.org/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz

（2）解压

tar -zxvf apache-zookeeper-3.8.4-bin.tar.gz -C /usr/local/

（3）编辑配置文件

进入配置文件路径

/usr/local/apache-zookeeper-3.8.4-bin/conf

修改配置文件名称zoo_sample.cfg 为 zoo.cfg。

mv zoo_sample.cfg zoo.cfg

修改zookeeper数据路径：

dataDir=/usr/local/apache-zookeeper-3.8.4-bin

添加配置：

dataDir=/usr/local/apache-zookeeper-3.8.4-bin/data
dataLogDir=/usr/local/apache-zookeeper-3.8.4-bin/logs

server.1=192.168.135.132:2888:3888
server.2=192.168.135.133:2888:3888
server.3=192.168.135.134:2888:3888

image-20240508133244372

dataDir:服务器存储快照文件目录。
dataLogDir:服务器存日志文件目录。
server.A=B:C:D
含义：
A:节点在集群中的唯一ID，需要与dataDir/myid文件中的内容保持一致，取值范围为1~255。
B：节点的服务器IP地址。
C：集群中Follower节点与Leader 节点之间通信的端口。
D：当集群中的Follower节点宕机或出现故障时，集群进行重新选举Leader时所使用的端口。

（4）在 /usr/local/apache-zookeeper-3.8.4-bin/data 新建一个myid文件，内容是1，表示服务器ID。

echo 1 >/usr/local/apache-zookeeper-3.8.4-bin/data/myid

（5）修改环境变量

vim /etc/profile

添加ZOOKEEPER_HOME，并将其添加到PATH的后面。

export ZOOKEEPER_HOME=/usr/local/apache-zookeeper-3.8.4-bin

export PATH=$PATH:$JAVA_HOME/bin:$KAFKA_HOME/bin:$ZOOKEEPER_HOME/bin

1.3 Kafka 下载安装

（1）下载 Kafka，上传到 /root/software 路径

下载地址：https://mirrors.aliyun.com/apache/kafka/3.7.0/kafka_2.12-3.7.0.tgz

（2）解压

tar -zxvf kafka_2.12-3.7.0.tgz -C /usr/local/

（3）配置环境变量

编辑配置文件：

vim /etc/profile

在文本末尾添加：在PATH的后面添加$KAFKA_HOME/bin

export KAFKA_HOME=/usr/local/kafka_2.12-3.7.0

export PATH=$PATH:$JAVA_HOME/bin:$KAFKA_HOME/bin

image-20240507131934936

保存并退出，输入下面命令使配置生效：

source /etc/profile

查看是否生效：

echo $KAFKA_HOME

结果为我们配置的路径即可。

（4）修改配置文件

修改配置文件

# 当前节点的ID号
broker.id=1
# Kafka 数据保存的目录
log.dirs=/usr/local/kafka_2.12-3.7.0/data

1.4 克隆虚拟机

（1）右键虚拟机，管理，克隆

（2）克隆后，进入虚拟机，查看ip

image-20240507140928451

我的分别是

192.168.135.132、192.168.135.133、192.168.135.134

（3）分别修改 Kafka 中 zookeeper配置

# 当前节点的ID号，三台机器分别设置为1，2，3
broker.id=1

# zookeeper连接，配置为三台机器，最后的/kafka表示会在Zookeeper的根下创建kafka节点，管理所有kafka元数据
zookeeper.connect=192.168.135.132:2181,192.168.135.133:2181,192.168.135.134:2181/kafka

（4）分别修改 zookeeper 的myid配置

vim /usr/local/apache-zookeeper-3.8.4-bin/data/myid

将里面数字根据机器id分别改成 1，2，3

（5）分别启动三台机器 zookeeper

cd /usr/local/apache-zookeeper-3.8.4-bin/bin
sh zkServer.sh start

image-20240507142656178

（6）分别启动三台机器的kafka

cd /usr/local/kafka_2.12-3.7.0
bin/kafka-server-start.sh -daemon config/server.properties

image-20240507143011714

2、问题处理：

1、如果你的zookeeper启动失败，查看日志

报错：Cannot open channel to 2 at election address /192.168.135.133:3888
java.net.NoRouteToHostException: No route to host (Host unreachable)

image-20240508153952453

是因为没有权限开启其他机器的端口，可以去开放指定端口，或者是关闭防火墙。

关闭防火请：

systemctl stop firewalld.service

2、如果你在启动kafka报错，报错日志：

[2024-05-08 00:43:28,805] ERROR Exiting Kafka due to fatal exception during startup. (kafka.Kafka$)
java.lang.RuntimeException: Invalid cluster.id in: /usr/local/kafka_2.12-3.7.0/data/meta.properties. Expected LeVt5skgTWmrMeCQk06U2g, but read dO89ne-BQm-hRzbnkqOQJA
	at org.apache.kafka.metadata.properties.MetaPropertiesEnsemble.verify(MetaPropertiesEnsemble.java:516)
	at kafka.server.KafkaServer.startup(KafkaServer.scala:250)
	at kafka.Kafka$.main(Kafka.scala:112)
	at kafka.Kafka.main(Kafka.scala)
[2024-05-08 00:43:28,805] INFO shutting down (kafka.server.KafkaServer)

image-20240508155617698

错误原因分析

直接原因：服务器在重启后出现的问题

根本原因：server.properties和meta.perporties（kafka启动后会在日志目录下生成的配置文件）配置文件的broke.id的值不一样，在我们服务重启后机器重启因meta.properties配置文件没处理掉，所以就会报错

解决方法：

方法一：

1、我们找到我们的server.properties配置文件的log.dirs参数的配置项，找到我们的log配置目录

2、将该目录下的meta.properties删除或别名

rm -rf /usr/local/kafka_2.12-3.7.0/data/meta.properties

方法二：

就是直接手动将meta.properties的值改成server.properties的值一致

2、kafka 在 zookeeper 中的目录说明

2.1 准备工作

（1）进入zookeeper客户端

/usr/local/apache-zookeeper-3.8.4-bin/bin/zkCli.sh

（2）查看目录下内容

ls /

image-20240508122755663

其中 kafka文件夹就是我们上面配置kafka中的 zookeeper.connect 配置时自动创建的。

2.2 /kafka 文件夹说明

查看 /kafka 下文件夹

ls /kafka

image-20240508123125576

（1）cluster

get /kafka/cluster/id

image-20240508123443266

id 代表一个kafka集群包含集群的版本信息，和集群id。

（2）controller

get /kafka/controller

image-20240508160047986

controller 是kafka中非常重要的一个角色，意为控制器，控制 partition 的 leader选举，topic 的crud操作。

brokerid 意为有其id对应的broker承担controller角色。

（2）controller_epoch

get /kafka/controller_epoch

image-20240508124707592

controller_epoch 表示controller 的纪元，每当controller的brokerid更换一次，controller_epoch就会加一。

（3）brokers

ls /kafka/brokers

image-20240508160542522

get /kafka/brokers/ids

image-20240508160609215

ids，表示当前kafka的broker实例列表。

get /kafka/brokers/ids/1

image-20240508160734141

查看实例具体信息。

ls /kafka/brokers/topics

image-20240508161148323

查看现有的topic信息

（4）consumers

老版本用于存储kafka消费者的信息，主要保存对应的offset，新版本中基本不用
此时用户的消费信息，保存在一个系统的topic中:__consumer_offsets

（5）config

存放配置信息

链图片转存中…(img-NUZFOE4l-1715169141277)]

ids，表示当前kafka的broker实例列表。

get /kafka/brokers/ids/1

[外链图片转存中…(img-7dCZl9Zo-1715169141277)]

查看实例具体信息。

ls /kafka/brokers/topics

[外链图片转存中…(img-suYnSnww-1715169141277)]

查看现有的topic信息

（4）consumers

老版本用于存储kafka消费者的信息，主要保存对应的offset，新版本中基本不用
此时用户的消费信息，保存在一个系统的topic中:__consumer_offsets

（5）config

存放配置信息

image-20240508162244598

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/605255.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

DELL EMC unity存储系统如何初始化

DELL EMC unity存储系统如何初始化

在客户的存储使用过程中，经常会碰到一些场景需要对存储系统做重新初始化，就是回到出厂时候的配置。比如，客户设备要利旧，二次使用，一般都要回到出厂状态做重新配置的动作。存储严重故障，没有能力修复或者数…
阅读更多...
现货黄金今日行情分析：昨日高低点法

现货黄金今日行情分析：昨日高低点法

进行交易之前，投资者要对现货黄金今日行情进行一波分析，我们交易决策应该建立在合理分析的基础之上。那么打开市场交易软件看到现货黄金今日行情之后，该如何着手进行分析呢？下面我们就来讨论一下具体的方法。 要进行现货黄金今日行…
阅读更多...
【QuikGraph】C#调用第三方库实现迪杰斯特拉(Dijkstra)算法功能

【QuikGraph】C#调用第三方库实现迪杰斯特拉(Dijkstra)算法功能

QuikGraph库介绍 项目地址：https://github.com/KeRNeLith/QuikGraph QuikGraph为.NET提供了通用的有向/无向图数据结构和算法。 QuikGraph提供了深度优先搜索、广度优先搜索、A*搜索、最短路径、k最短路径，最大流量、最小生成树等算法。 QuikGraph最初…
阅读更多...
大模型的不足与解决方案

大模型的不足与解决方案

文章目录 ⭐ 不具备记忆能力 上下文窗口受限⭐ 实时信息更新慢 新旧知识难区分⭐ 内部操作很灵活 外部系统难操作⭐ 无法为专业问题 提供靠谱的答案⭐ 解决方案的结果 各有不同的侧重 在前面三个章节呢，为大家从技术的角度介绍了大模型的历程与发展，也为…
阅读更多...
Jenkins +git +web(vue) centos8.5 实战打包部署 运维系列二

Jenkins +git +web(vue) centos8.5 实战打包部署 运维系列二

1新建一个工程 #cat qy.sh #!/bin/bash cd /data/.jenkins/workspace/web rm -rf dist/ rm -rf qysupweb.tar.gz npm run build tar -czvf qysupweb.tar.gz dist/ #点击构建
阅读更多...
STM32学习计划

STM32学习计划

前言： 这里先记录下STM32的学习计划。 2024/05/08 今天我正在学习的是正点原子的I.MX6ULL APLHA/Mini 开发板的 Linux 之ARM裸机第二期开发的视频教程，会用正点原子的I.MX6ULL开发板学习第二期ARM裸机开发的教程，然后是学习完正点原子的I.M…
阅读更多...
python数据分析——pandas DataFrame基础知识1

python数据分析——pandas DataFrame基础知识1

参考资料：活用pandas库 1、加载数据集 通常调用read_csv函数来加载CSV数据文件。若是.tsv文件也是用read_csv函数。 # 导入库 import pandas as pd # 默认情况下，read_csv函数会读取逗号分隔文件 # Gapminder数据使用制表符分隔 # 可以吧sep参数设置为…
阅读更多...
【网络协议】----IPv6协议报文、地址分类

【网络协议】----IPv6协议报文、地址分类

【网络协议】----IPv6协议简介 【网络协议】----IPv6协议简介IPv6特点IPv4 和 IPv6报文结构IPv6报文格式-拓展报头 IPv6地址分类IPv6地址表示IPv6单播地址可聚合全球单播地址链路本地地址唯一本地地址特殊地址补充 接口标识（主机位）生成方法通过EUI-64规…
阅读更多...
网络层协议之 IP 协议

网络层协议之 IP 协议

IP 协议格式 4 位版本：此处的取值只有两个，4（IPv4）和 6（IPv6），即指定 IP 协议的版本。 4 位首部长度：描述了 IP 报头多长，IP 报头是变长的，因为报头中的选项部…
阅读更多...
信息系统项目管理师0094：项目管理过程组（6项目管理概论—6.4价值驱动的项目管理知识体系—6.4.3项目管理过程组）

信息系统项目管理师0094：项目管理过程组（6项目管理概论—6.4价值驱动的项目管理知识体系—6.4.3项目管理过程组）

点击查看专栏目录 文章目录 6.4.3项目管理过程组1.适应型项目中的过程组2.适应型项目中过程组之间的关系6.4.3项目管理过程组 项目管理过程组是为了达成项目的特定目标，对项目管理过程进行的逻辑上的分组。项目管理过程组不同于项目阶段：①项目管理过程组是为了管理项目，针对…
阅读更多...
WebRTC 采集音视频数据

WebRTC 采集音视频数据

WebRTC 采集音视频数据 WebRTC 采集音视频数据getUserMedia API 简介浏览器兼容性getUserMedia 接口格式MediaStreamConstraintsMediaTrackConstraints 采集音频数据MediaStream 和 MediaStreamTrack本地视频预览切换摄像头显示参考 WebRTC 采集音视频数据 getUserMedia API 简…
阅读更多...
C语言 | Leetcode C语言题解之第77题组合

C语言 | Leetcode C语言题解之第77题组合

题目： 题解： int** combine(int n, int k, int* returnSize, int** returnColumnSizes) {int* temp malloc(sizeof(int) * (k 1));int tempSize 0;int** ans malloc(sizeof(int*) * 200001);int ansSize 0;// 初始化// 将 temp 中 [0, k - 1] 每个…
阅读更多...
跟我学做零售数据分析报表-商品滞销分析

跟我学做零售数据分析报表-商品滞销分析

商品滞销的情况很常见，因此商品滞销分析也是基本属于零售数据分析标配内容之一。那么，商品滞销分析报表该怎么做？要做计算哪些指标，怎么分析滞销趋势？别急，奥威BI零售数据分析方案预设了一张BI商品滞销分析…
阅读更多...
C语言 | Leetcode C语言题解之第76题最小覆盖子串

C语言 | Leetcode C语言题解之第76题最小覆盖子串

题目&#xff1a; 题解&#xff1a; char* minWindow(char* s, char* t) {int tLen strlen(t);int hash[256] { 0 };for (int i 0; i < tLen; i)hash[t[i]];for (int i 0; i < 256; i) {if (0 hash[i])hash[i] INT_MIN;}int left, right, count, start, minLen, s…
阅读更多...
Java | Leetcode Java题解之第75题颜色分类

Java | Leetcode Java题解之第75题颜色分类

题目&#xff1a; 题解&#xff1a; class Solution {public void sortColors(int[] nums) {int n nums.length;int p0 0, p2 n - 1;for (int i 0; i < p2; i) {while (i < p2 && nums[i] 2) {int temp nums[i];nums[i] nums[p2];nums[p2] temp;--p2;}i…
阅读更多...
【OceanBase 系列】—— OceanBase v4.3 特性解读：查询性能提升之利器列存储引擎

【OceanBase 系列】—— OceanBase v4.3 特性解读：查询性能提升之利器列存储引擎

原文链接&#xff1a;OceanBase 社区 对于分析类查询&#xff0c;列存可以极大地提升查询性能&#xff0c;也是 OceanBase 做好 HTAP 和 OLAP 的一项不可缺少的特性。本文介绍 OceanBase 列存的实现特色。 OceanBase从诞生起就一直坚持LSM-Tree架构&#xff0c;不断打磨功能支…
阅读更多...
web API设计笔记

web API设计笔记

Hello , 我是小恒。今晚就讲讲我在开发维护API后的经验分享&#xff0c;当然我知识有限&#xff0c;暂时也不会写实际操作。GitHub项目仓库有一堆还在前期开发&#xff0c;我的时间很多时间投在了开源上。 推荐书籍 我认为一个好的 API 设计是面向用户的&#xff0c;充分隐藏底…
阅读更多...
java项目之校园失物招领系统(springboot+vue+mysql)

java项目之校园失物招领系统(springboot+vue+mysql)

风定落花生&#xff0c;歌声逐流水&#xff0c;大家好我是风歌&#xff0c;混迹在java圈的辛苦码农。今天要和大家聊的是一款基于springboot的校园失物招领系统。项目源码以及部署相关请联系风歌&#xff0c;文末附上联系信息 。 项目简介&#xff1a; 校园失物招领系统的主要…
阅读更多...
UML类图之间的关系及其符号表示

UML类图之间的关系及其符号表示

UML是什么 UML&#xff08;Unified Modeling Language&#xff0c;统一建模语言&#xff09;是一种为面向对象系统的产品进行说明、可视化和编制文档的一种标准语言。UML分静态图和动态图两种&#xff0c;常用的静态图有&#xff1a;用例图、类图、包图、对象图、部署图&#…
阅读更多...
基于BP神经网络的16QAM解调算法matlab性能仿真

基于BP神经网络的16QAM解调算法matlab性能仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 5.算法完整程序工程 1.算法运行效果图预览 2.算法运行软件版本 MATLAB2022a 3.部分核心程序 ........................................................... % 第一部分&#xff1a;加载并…
阅读更多...
最新文章

Copyright @ 2022~2023