OpenEuler22.04配置zookeeper+kafka三节点集群

OpenEuler22.04配置zookeeper+kafka三节点集群

  • 1. 基础环境
  • 2. 部署zookeeper集群
    • 2.1 下载、解压
    • 2.2 配置
    • 2.3 配置zookeeper服务
  • 3. 配置kafka集群
    • 3.1 下载解压
    • 3.2 配置
    • 3.3 配置服务
    • 3.4 kafka常用命令
  • 4. 其它

感觉OpenEuler的操作方式跟centos区别不大，下面的操作在centos下也可行

1. 基础环境

三主机节点IP：
192.168.8.10
192.168.8.11
192.168.8.12

配置一些所需的基础软件

yum -y install java-1.8.0-openjdk java-1.8.0-openjdk-devel wget curl  lrzsz bash-completion

2. 部署zookeeper集群

下载：apache-zookeeper-3.8.4-bin.tar.gz
下载链接地址：https://zookeeper.apache.org/releases.html

2.1 下载、解压

cd /tmp/
wget https://www.apache.org/dyn/closer.lua/zookeeper/zookeeper-3.8.4/apache-zookeeper-3.8.4-bin.tar.gz
tar -xvf apache-zookeeper-3.8.4-bin.tar.gz
mv apache-zookeeper-3.8.4-bin /usr/local/
cd /usr/local/
ln -sv apache-zookeeper-3.8.4-bin zookeeper
cd /usr/local/zookeeper/conf/

2.2 配置

简单配置

mkdir -pv /usr/local/zookeeper/data
mkdir -pv /usr/local/zookeeper/logs
# 复制配置文件
cp zoo_sample.cfg zoo.cfg
vim  zoo.cfg

配置文件内容如下：

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zookeeper/data
dataLogDir=/usr/local/zookeeper/logs
clientPort=2181
server.1=192.168.8.10:2888:3888
server.2=192.168.8.11:2888:3888
server.3=192.168.8.12:2888:3888

分别在3台主机上修改myid

/usr/local/zookeeper/data/myid

#server1 192.168.8.10 执行
echo "1" > /usr/local/zookeeper/data/myid
#server2 192.168.8.11 执行
echo "2" > /usr/local/zookeeper/data/myid
#server3 192.168.8.12 执行
echo "3" > /usr/local/zookeeper/data/myid

2.3 配置zookeeper服务

使用systemd管理服务

vim /usr/lib/systemd/system/zookeeper.service

服务配置文件如下

[Unit]
Description=zookeeper server daemon
After=zookeeper.target

[Service]
Type=forking
ExecStart=/usr/local/zookeeper/bin/zkServer.sh start
ExecReload=/usr/local/zookeeper/bin/zkServer.sh stop && sleep 2 && /usr/local/zookeeper/bin/zkServer.sh start
ExecStop=/usr/local/zookeeper/bin/zkServer.sh stop
Restart=always

[Install]

WantedBy=multi-user.target

配置完成后启动服务

systemctl start zookeeper
查看启动状态
systemctl status zookeeper
/usr/local/zookeeper/bin/zkServer.sh status

设置开机启动

systemctl enable zookeeper

3. 配置kafka集群

3.1 下载解压

下载：kafka_2.12-3.8.1.tgz
下载页面：https://kafka.apache.org/downloads.html

cd /tmp/
wget https://dlcdn.apache.org/kafka/3.8.1/kafka_2.12-3.8.1.tgz
tar -xvf kafka_2.12-3.8.1.tgz
mv kafka_2.12-3.8.1 /usr/local/
cd /usr/local/
ln -sv kafka_2.12-3.8.1 kafka
mkdir -pv /data/kafka/data/logs

3.2 配置

简单配置

cd /usr/local/kafka/config/
vim server.properties

第一台：192.168.8.10配置如下：

host.name=192.168.8.10
listeners=PLAINTEXT://192.168.8.10:9092
advertised.listeners=PLAINTEXT://192.168.8.10:9092

log.dirs=/data/kafka/data/logs
zookeeper.connect=192.168.8.10:2181,192.168.8.11:2181,192.168.8.12:2181


log.retention.hours=48
log.cleaner.enable=true

第2台：192.168.8.11配置如下：

host.name=192.168.8.11
listeners=PLAINTEXT://192.168.8.11:9092
advertised.listeners=PLAINTEXT://192.168.8.11:9092

log.dirs=/data/kafka/data/logs
zookeeper.connect=192.168.8.10:2181,192.168.8.11:2181,192.168.8.12:2181

第3台：192.168.8.12配置如下：

host.name=192.168.8.12
listeners=PLAINTEXT://192.168.8.12:9092
advertised.listeners=PLAINTEXT://192.168.8.12:9092

log.dirs=/data/kafka/data/logs
zookeeper.connect=192.168.8.10:2181,192.168.8.11:2181,192.168.8.12:2181

3.3 配置服务

使用systemd管理服务

vim /usr/lib/systemd/system/kafka.service

服务配置文件如下

[Unit]
Description=kafka server daemon
After=kafka.target

[Service]

Type=forking
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
ExecReload=/usr/local/kafka/bin/kafka-server-stop.sh && sleep 2 && /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh
Restart=always

[Install]
WantedBy=multi-user.target

配置完成后启动服务

systemctl start kafka
查看启动状态
systemctl status kafka

设置开机启动

systemctl enable kafka

3.4 kafka常用命令

创建一个topic，test

bin/kafka-topics.sh --create --bootstrap-server 192.168.8.12:9092 --replication-factor 2 --partitions 3 --topic test

查看一个topic情况

./bin/kafka-topics.sh --describe --bootstrap-server 192.168.8.12:9092 --topic test

修改一个topic

bin/kafka-topics.sh --alter  --bootstrap-server 192.168.8.12:9092 --topic test  --partitions 8

创建topic成功，查看topic列表

bin/kafka-topics.sh --list --bootstrap-server 192.168.8.12:9092

生产者producer测试发送消息

bin/kafka-console-producer.sh --broker-list 192.168.8.12:9092 --topic test

用另一个shell窗口，消费者consumer测试接收消息

bin/kafka-console-consumer.sh --bootstrap-server 192.168.8.12:9092 --topic test --from-beginning

能够正常收发信息，说明安装成功了

创建项目用的topic

bin/kafka-topics.sh --create --bootstrap-server 192.168.8.12:9092 --replication-factor 1 --partitions 1 --topic test-project
bin/kafka-topics.sh --create --bootstrap-server 192.168.8.12:9092 --replication-factor 1 --partitions 10 --topic test-project

查看topic消息消费情况

bin/kafka-consumer-groups.sh --bootstrap-server 192.168.8.12:9092 --list

查看topic消息组消费情况

bin/kafka-consumer-groups.sh --describe --bootstrap-server 192.168.8.12:9092 --group test-consumer

4. 其它

注意: 上面的配置都是不带用户认证的，只适合本机或局域网访问。如果考虑到安全性，主要添加主机防火墙和用户认证。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/940818.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

实现Python将csv数据导入到Neo4j

实现Python将csv数据导入到Neo4j

目录 一、获取数据集 1.1 获取数据集 1.2 以“记事本”方式打开文件 1.3 另存为“UTF-8”格式文件 1.4 选择“是” 二、 打开Neo4j并运行 2.1 创建新的Neo4j数据库 2.2 分别设置数据库名和密码 ​编辑 2.3 启动Neo4j数据库 2.4 打开Neo4j数据库 2.5 运行查看该数据库…
阅读更多...
MySQL知识汇总（二）：select

MySQL知识汇总（二）：select

select语句 -- select语句 select 字段 from 表 -- 查询全部信息 select * from 表 SELECT * FROM student2 -- 查询指定字段 select name from 表 SELECT name FROM student2 -- 起别名 给查询结果用 AS 起个其他的名字，可以是字段也可以是表 SELECT name AS 名字 …
阅读更多...
Restaurants WebAPI（二）——DTO/CQRS

Restaurants WebAPI（二）——DTO/CQRS

文章目录 项目地址一、DTO1.1 创建Restaurant的Dto1.2 修改之前未使用Dto的接口1.2.1 修改GetRestaurantByIdUseCase1.2.2 修改IGetRestaurantByIdUseCase接口1.2.3 再次请求接口1.3 显示Dish List1.3.1创建DishDto1.3.2 在RestaurantDto里添加DishDto1.3.3 使用Include添加Dis…
阅读更多...
c++--------c++概念

c++--------c++概念

定义与起源 C是一种高级编程语言，它是C语言的扩展。C由Bjarne Stroustrup在20世纪80年代初开发，最初被称为“C with Classes”。其设计目的是在保持C语言高效性的同时，增加面向对象编程（OOP）的特性。例如，…
阅读更多...
面向对象设计过程的理解和实践

面向对象设计过程的理解和实践

在软件开发的世界里，面向对象设计（Object-Oriented Design，简称OOD）是一项至关重要的技术。它不仅帮助我们更好地将现实世界的问题转化为软件系统中的对象，还确保这些对象之间能够高效地协同工作，共同实现系…
阅读更多...
游泳溺水识别数据集，对9984张原始图片进行YOLO，COCO JSON, VOC XML 格式的标注，平均识别率在91.7％以上

游泳溺水识别数据集，对9984张原始图片进行YOLO，COCO JSON, VOC XML 格式的标注，平均识别率在91.7％以上

游泳溺水识别数据集： 对9984张原始图片进行YOLO，COCO JSON, VOC XML 格式的标注，平均识别率在91.7％以上 ，可识别泳池或者水库中是否有人溺水。 数据集分割 训练组98％ 9818图片 有效集％…
阅读更多...
Llama3.370B超越GPT-4o和Claude3.5 Sonnet

Llama3.370B超越GPT-4o和Claude3.5 Sonnet

AI领域日新月异，最近AI 领域发生了太多事情，本文就语言大模型Llama 3.3 70B、GPT-4o 和 Claude 3.5 Sonnet进行对比。 12月7日，Meta今年的最终AI模型将要来了。Meta12月6日发布了Llama 3.3，拥有700亿个参数，但其性能与…
阅读更多...
linux内核网络分层概述

linux内核网络分层概述

在开发应用时，我们使用 socket 实现网络数据的收发。以tcp为例，server端通过 socket, bind, listen来创建服务端，然后通过 accept接收客户端连接；客户端通过 socket和 connect系统调用来创建客户端。用于数据收发的系统调用包括 s…
阅读更多...
【全栈实战】基于 Vue3 + Wot Design Uni 动手封装组件

【全栈实战】基于 Vue3 + Wot Design Uni 动手封装组件

😊你好，我是小航，一个正在变秃、变强的文艺倾年。 😊好久没有更新有关前端实战教程了，本文主要讲解【全栈实战】基于 Vue3 Wot Design Uni 动手封装组件！ 😊这个教程你将会学到技术正确的选型、…
阅读更多...
Ajax中的axios

Ajax中的axios

既然提到Ajax，那就先来说一说什么是Ajax吧 关于Ajax Ajax的定义 Asynchronous JavaScript And XML：异步的JavaScript和XML。 反正就是一句话总结： 使用XML HttpRequest 对象与服务器进行通讯。 AJAX 是一种在无需重新加载整个网页的情况下&…
阅读更多...
60.基于SSM的个人网站的设计与实现（项目 + 论文）

60.基于SSM的个人网站的设计与实现（项目 + 论文）

项目介绍 本站是一个B/S模式系统，个人网站是在MySQL中建立数据表保存信息，运用SSMVue框架和Java语言编写。并按照软件设计开发流程进行设计实现充分保证系统的稳定性。系统具有界面清晰、操作简单，功能齐全的特点，使得基于SSM的网…
阅读更多...
聊聊Flink：Flink的状态管理

聊聊Flink：Flink的状态管理

一、Flink的状态是什么？ 我们知道，Flink的一个算子可能会有多个子任务，每个子任务可能分布在不同的实例（即slot）上，我们可以把Flink的状态理解为某个算子的子任务在其当前实例上的一个变量，该变…
阅读更多...
Idea 将多个module显示在同一个project

Idea 将多个module显示在同一个project

Idea 将多个maven项目显示在同一个project下 1、选择菜单 File-》New -》Module from Existing Sources -> 2、在弹出的界面选中对应的Module的pom.xml,然后点击OK按钮就行了 (弹出框上面也提示了Eclipse 项目选中.project文件；Maven 项目选中pom.xml; ) 最终显…
阅读更多...
文件解析漏洞中间件（iis和Apache）

文件解析漏洞中间件（iis和Apache）

IIS解析漏洞 IIS6.X #环境 Windows Server 2003 在iis6.x中&#xff0c;.asp文件夹中的任意文件都会被当做asp文件去执行 在默认网站里创建一个a.asp文件夹并创建一个1.jpg写进我们的asp代码 <%now()%> #asp一句话 <%eval request("h")%> 单独创建一…
阅读更多...
gitee别人仓库再上传自己仓库

gitee别人仓库再上传自己仓库

一、新建一个自己的Git仓库 如果没有注册账号的朋友&#xff0c;可以先去注册一个Gitee的账号&#xff0c;用于管理自己的代码特别好用&#xff01;&#xff01;&#xff01; 接下来就是在gitee上新建一个自己的仓库&#xff0c;如下图所示 二、右建 Git Bush Here删除.git文件…
阅读更多...
STM32F407 | Embedded IDE01 - vscode搭建Embedded IDE开发环境（支持JLINK、STLINK、DAPLINK）

STM32F407 | Embedded IDE01 - vscode搭建Embedded IDE开发环境（支持JLINK、STLINK、DAPLINK）

导言 Embedded IDE官网:https://em-ide.com/docs/intro 我猜肯定有部分人使用SI Keil开发STM32项目&#xff0c;也有vscode Keil开发STM32程序。SI或vscode编写代码&#xff0c;然后切换Keil编译、下载、调试程序。有一段时间&#xff0c;我也是这么干的。但是&#xff0c;程…
阅读更多...
算法的学习笔记—扑克牌顺子(牛客JZ61)

算法的学习笔记—扑克牌顺子(牛客JZ61)

&#x1f600;前言 扑克牌顺子问题是一道趣味性与逻辑性兼备的题目&#xff0c;要求判断五张牌是否能组成顺子&#xff0c;其中大小王&#xff08;癞子&#xff09;可作为任意牌面。癞子的特殊性增加了问题的复杂度&#xff0c;也为解题提供了更多的可能性。通过这一问题&#…
阅读更多...
记录遇到的一个新的变种JS加密

记录遇到的一个新的变种JS加密

源 逻辑分析 混淆代码的目的是隐藏实际逻辑&#xff0c;增加逆向工程的难度。以下是对代码的逐步分析和解读。 第一部分&#xff1a;立即调用的函数表达式 (IIFE) (function () {var _K [...]; // 存储大量字符串的数组 })();​ 1. 目的&#xff1a;这个 IIFE 是整个代码运行…
阅读更多...
LeetCode：104.二叉树的最大深度

LeetCode：104.二叉树的最大深度

跟着carl学算法&#xff0c;本系列博客仅做个人记录&#xff0c;建议大家都去看carl本人的博客&#xff0c;写的真的很好的&#xff01; 代码随想录 LeetCode&#xff1a;104.二叉树的最大深度 给定一个二叉树 root &#xff0c;返回其最大深度。 二叉树的 最大深度 是指从根节…
阅读更多...
Fastjson ＜= 1.2.47 反序列化漏洞复现

Fastjson ＜= 1.2.47 反序列化漏洞复现

0x01 前言 Fastjson 是一个 Java 语言编写的高性能功能完善的 JSON 库&#xff0c;可以将 Java 对象转换为 JSON 格式&#xff0c;也可以将 JSON 字符串转换为 Java 对象&#xff0c;在中国和美国使用较为广泛。 0x02 漏洞成因 Fastjson < 1.2.68 版本在处理反序列化对象时…
阅读更多...
最新文章

Copyright @ 2022~2023