kafka3.6.0部署

部署zk

https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.9.1/apache-zookeeper-3.9.1.tar.gz

tar -xf  apache-zookeeper-3.9.1.tar.gz -C /apps
cd /apps/ && ln -s   apache-zookeeper-3.9.1   zookeeper
修改配置

```bash
grep -vE '^$|^#' conf/zoo.cfg 
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/apps/zookeeper/data
clientPort=2181
autopurge.snapRetainCount=3
autopurge.purgeInterval=24
server.1=192.168.1.60:2888:3888  #server.后面数字不要一样
server.2=192.168.1.61:2888:3888
server.3=192.168.1.62:2888:3888

root@ubuntu20:/apps/zookeeper/bin# cat /etc/profile.d/zk.sh
#!/bin/bash
export PATH=/apps/zookeeper/bin/:$PATH
mkdir /data
root@ubuntu20:/apps/zookeeper# echo 3 > data/myid
拷贝到其他节点并修改myid

配置环境变量
root@ubuntu20:/apps/zookeeper/bin# source /etc/profile.d/zk.sh

scp /etc/profile.d/zk.sh 192.168.1.62:/etc/profile.d
scp /etc/profile.d/zk.sh 192.168.1.61:/etc/profile.d
source /etc/profile.d/zk.sh

启动zk

zkServer.sh start

查看状态
root@ubuntu20:/apps/zookeeper# zkServer.sh status
/usr/bin/java
ZooKeeper JMX enabled by default
Using config: /apps/zookeeper/bin/…/conf/zoo.cfg
Client port found: 2181. Client address: localhost. Client SSL: false.

Mode: leader

访问zk
zkCli.sh -server 192.168.1.60:2181

部署kafka集群

192.168.1.60
192.168.1.61
192.168.1.62
下载解压

修改 配置文件

root@ubuntu20:/apps/kafka/config# cat server.properties
broker.id=62  #每个节点不要一样
listeners=PLAINTEXT://192.168.1.62:9092  #监听的地址：配置为本机ip ，注意格式
zookeeper.connect=192.168.1.60:2181,192.168.1.61:2181,192.168.1.62:2181  #修改配置zk的地址

所有节点配置环境变量

cat  /etc/profile.d/kafka.sh
#!/bin/bash
export  KAFKA_HOME=/apps/kafka
export   PATH=$PATH:$KAFKA_HOME/bin
source  /etc/profile.d/kafka.sh
root@ubuntu20:/apps/kafka/config# scp  /etc/profile.d/kafka.sh  192.168.1.62:/etc/profile.d/

启动
kafka-server-start.sh -daemon /apps/kafka/config/server.properties
查看端口

vi /lib/systemd/system/kafka.service
[Unit]
Description=Apache Kafka
After=network.target

[Service]
Type=simple
#Environment=JAVA_HOME=/data/server/java
PIDFile=/apps/kafka/kafka.pid
ExecStart=/apps/kafka/bin/kafka-server-start.sh /apps/kafka/config/server.properties
ExecStop=/bin/kill -TERM ${MAINPID}
Restart=always
RestartSec=20

[Install]
WantedBy=multi-user.target

创建topic

root@ubuntu20:/apps/kafka/data# kafka-topics.sh --create --topic wang --bootstrap-server 192.168.1.60:9092 --partitions 3 --replication-factor 2
Created topic wang.

查看topic

kafka-topics.sh   --bootstrap-server 192.168.1.60:9092 --list

查看topic详细信息

root@ubuntu20:/apps/kafka# kafka-topics.sh   --bootstrap-server 192.168.1.60:9092 --topic luo --describe
Topic: luo	TopicId: 3Gm_DopHQb-HgvLih6WuiQ	PartitionCount: 1	ReplicationFactor: 1	Configs: 
	Topic: luo	Partition: 0	Leader: 60	Replicas: 60	Isr: 60

root@ubuntu20:/apps/kafka# kafka-topics.sh   --bootstrap-server 192.168.1.60:9092 --topic wang --describe
Topic: wang	TopicId: eZ7lTktaQ1mVarYE-Q_K1A	PartitionCount: 3	ReplicationFactor: 2	Configs: 
	Topic: wang	Partition: 0	Leader: 61	Replicas: 61,60	Isr: 61,60
	Topic: wang	Partition: 1	Leader: 60	Replicas: 60,62	Isr: 60,62
	Topic: wang	Partition: 2	Leader: 62	Replicas: 62,61	Isr: 62,61

读写都在leader节点上

启动生产者
kafka-console-producer.sh --topic luo --bootstrap-server 192.168.1.60:9092
该命令的目的是启动一个 Kafka 生产者，将消息发送到 luo 主题，并使用 192.168.1.60:9092 作为 Kafka 集群的地址。

启动消费者 --from-beginning 从头开始拿数据
kafka-console-consumer.sh --topic luo --from-beginning --bootstrap-server 192.168.1.60:9092

修改分区数为5
kafka-topics.sh --bootstrap-server 192.168.1.60:9092 --topic wang --alter --partitions 5
在这里插入图片描述

删除topic
kafka-topics.sh --delete --bootstrap-server=192.168.1.60:9092 --topic test

kafka依赖zk提供元数据储存

分区：
副本：

 kafka-producer-perf-test.sh --topic test --num-records 10000000 --throughput -1 --record-size 1024 --producer-props bootstrap.servers=192.168.1.60:9092 acks=-1 linger.ms=2000 compression.type=lz4
 32532 records sent, 6499.9 records/sec (6.35 MB/sec), 1536.5 ms avg latency, 2338.0 ms max latency.
32532 records sent：发送了 32532 条消息。
6499.9 records/sec：平均每秒发送了 6499.9 条消息。
(6.35 MB/sec)：发送速度为每秒 6.35 MB 的数据量。
1536.5 ms avg latency：平均延迟为 1536.5 毫秒，这表示从消息发送到确认接收所需的平均时间。
2338.0 ms max latency：最大延迟为 2338.0 毫秒，这表示消息发送到确认接收期间的最长时间。

消费者组案列

启动生产者
kafka-console-producer.sh --topic oldboy --broker-list 192.168.1.60:9092

基于配置文件启动消费者
root@kafka01:~# kafka-console-consumer.sh --bootstrap-server 192.168.1.60:9092 --topic oldboy --consumer.config /apps/kafka/config/consumer.properties
ll
.dd

基于命令行启动消费者
root@kafka01:~# kafka-console-consumer.sh --bootstrap-server 192.168.1.60:9092 --topic oldboy --consumer-property group.id=luohuiwen
上面的案例启动了1个生产者，2个消费者。但同一时刻只有一个消费者接收到生产者的消息，不可能2个消费者同时接收到生产者发送的消息哟~

kafka高效读写数据的底层原理：顺序写磁盘 零拷贝技术 异步刷盘

堆内存调整

root@kafka01:/apps/kafka/bin# grep export kafka-server-start.sh 
    export KAFKA_LOG4J_OPTS="-Dlog4j.configuration=file:$base_dir/../config/log4j.properties"
   # export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"  #修改此行就行
   # export KAFKA_HEAP_OPTS="-Xmx256M -Xms256M"
       export KAFKA_HEAP_OPTS="-server -Xmx256M -Xms256M -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads
=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"

添加修改端口 这个是jmx的端口，后面的监控要用到
在这里插入图片描述

部署

安装数据库创建数据库授权

下载https://github.com/smartloli/kafka-eagle-bin/archive/v3.0.1.tar.gz

解压修改配置

efak.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=192.168.1.60:2181,192.168.1.61:2181,192.168.1.62:2181  #填写kafka地址

efak.url=jdbc:mysql://127.0.0.1:3306/oldboyedu_kafka? useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull #oldboyedu_kafka  创建的数据库
efak.username=kafka  #数据库授权用户
efak.password=123456

在这里插入图片描述
访问
在这里插入图片描述
压力测试

kafka-consumer-perf-test.sh --broker-list 192.168.1.60:9092,192.168.1.61:9092,192.168.1.62:9092 --topic luohuiwen --messages 100000000 --fetch-size 1048576 --threads 10

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/212887.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

springmvc+mybatis+mysql8+idea+jqgrid前端

springmvc+mybatis+mysql8+idea+jqgrid前端

一、背景 主要是为了学习jqgrid前端技术，熟练一下前后端交互数据 二、效果图 访问地址：http://localhost:8080/cr/views/jqGridDemo.jsp 三、代码展示 控制层JqGridController.java Controller RequestMapping("/jqgrid") public class Jq…
阅读更多...
将多个字节对象组成的列表中的多个字节对象连接成为一个字节对象bytes.join()

将多个字节对象组成的列表中的多个字节对象连接成为一个字节对象bytes.join()

【小白从小学Python、C、Java】 【计算机等考500强证书考研】 【Python-数据分析】 将多个字节对象组成的列表 中的多个字节对象 连接成为一个字节对象 bytes.join() [太阳]选择题 请以下代码输出的结果是？ byte_list [bK,be,by] print("【显示】byte_list&q…
阅读更多...
[力扣题]1.判断一棵树是否是平衡二叉树

[力扣题]1.判断一棵树是否是平衡二叉树

1.判断一棵树是否是平衡二叉树 1.1 题目描述 给你一棵二叉树的根节点 root ，请你判断这棵树是否是一棵 完全二叉树 。 在一棵 完全二叉树 中，除了最后一层外，所有层都被完全填满，并且最后一层中的所有节点都尽可能靠左。最后一层…
阅读更多...
法学毕业生个人简历16篇

法学毕业生个人简历16篇

想要从众多法学毕业求职者中脱颖而出，找到心仪的相关工作？可以参考这16篇精选的法学专业应聘简历案例，无论是应届比预算还是有工作经验，都能从中汲取灵感，提升简历质量。希望对大家有所帮助。 法学毕业生简历模板下载…
阅读更多...
【LeetCode:1094. 拼车 | 差分数组】

【LeetCode:1094. 拼车 | 差分数组】

🚀 算法题 🚀 🌲 算法刷题专栏 | 面试必备算法 | 面试高频算法 🍀 🌲 越难的东西,越要努力坚持，因为它具有很高的价值，算法就是这样✨ 🌲 作者简介：硕风和炜，…
阅读更多...
工业机器视觉megauging（向光有光）使用说明书（五，轻量级的visionpro）

工业机器视觉megauging（向光有光）使用说明书（五，轻量级的visionpro）

这个说明主要介绍抓线功能。 第一步，添加线工具，鼠标双击工具箱“抓线”，出现如下界面： 第二步，我们拉一条，“九点标定”到“抓线1”的线，和visionpro操作一样： 第三步，…
阅读更多...
【SQLite】SQLite3约束总结

【SQLite】SQLite3约束总结

前面学习了SQLite数据库的常见使用方法，其中包含许多约束，常见的如NOT NULL、DEFAULT、UNIQUE、PRIMARY KEY（主键）、CHECK等 本篇文章主要介绍这些约束在SQLite中的使用 目录 什么是约束NOT NULL 约束DEFAULT约束UNIQUE约束PRIMA…
阅读更多...
竞赛选题 题目：基于深度学习的中文汉字识别 - 深度学习 卷积神经网络 机器视觉 OCR

竞赛选题 题目：基于深度学习的中文汉字识别 - 深度学习 卷积神经网络 机器视觉 OCR

文章目录 0 简介1 数据集合2 网络构建3 模型训练4 模型性能评估5 文字预测6 最后 0 简介 🔥 优质竞赛项目系列，今天要分享的是 基于深度学习的中文汉字识别 该项目较为新颖，适合作为竞赛课题方向，学长非常推荐！ &a…
阅读更多...
【超全】React学习笔记 下：路由与Redux状态管理

【超全】React学习笔记 下：路由与Redux状态管理

React学习笔记 React系列笔记学习 上篇笔记地址：【超全】React学习笔记 上：基础使用与脚手架 中篇笔记地址：【超全】React学习笔记 中：进阶语法与原理机制 React路由概念与理解使用 1. 引入 React路由是构建单页面应用(SPA, Sin…
阅读更多...
CCC联盟数字车钥匙（九）——Passive Entry

CCC联盟数字车钥匙（九）——Passive Entry

2.3 Passive Entry : BLE设置 一旦完成了BLE配对和加密设置，随后与车辆的连接将使用Passive Entry流程。 对于被动进入，能力交换（Capability Exchange）是以车辆或设备自上次能力交换之后，是否更新DK协议版本、UWB配置…
阅读更多...
GEE：使用拉普拉斯（Laplacian）算子对遥感图像进行卷积操作

GEE：使用拉普拉斯（Laplacian）算子对遥感图像进行卷积操作

作者：CSDN @ _养乐多_ 本文记录了使用拉普拉斯（Laplacian）算子对遥感图像进行卷积操作的代码。并以试验区NDVI图像为例。 研究区真彩色影像、NDVI图像以及Sobel卷积结果如下所示， 文章目录 一、拉普拉斯算子二、完整代码三、代码链接一、拉普拉斯算子 详细介绍参考《遥感…
阅读更多...
Elasticsearch高级

Elasticsearch高级

文章目录 一.数据聚合二.RestAPI实现聚合三.ES自动补全(联想)四.数据同步五.elasticsearch集群 一.数据聚合 在ES中的数据聚合（aggregations）可以近似看做成mysql中的groupby分组,聚合可以实现对文档数据的统计、分析、运算,常见的聚合的分类有以下几种…
阅读更多...
【JavaScript手撕代码】call、apply、bind

【JavaScript手撕代码】call、apply、bind

修改this指向 方法参数返回值作用callthisArg, arg1, arg2, ...，注意，call接收的参数是一个参数列表函数返回值调用一个函数，将其 this 值设置为提供的值，并为其提供指定的参数。applythisArg, [arg1, arg2, ...]，请注…
阅读更多...
Chat-GPT原理

Chat-GPT原理

GPT原理 核心是基于Transformer 架构 英文原文： ​ Transformers are based on the “attention mechanism,” which allows the model to pay more attention to some inputs than others, regardless of where they show up in the input sequence. For exampl…
阅读更多...
数据结构中的二分查找(折半查找）

数据结构中的二分查找(折半查找）

二分法：顾名思义，把问题一分为2的处理，是一种常见的搜索算法，用于在有序数组或这有序列表中查找指定元素的位置，它的思想是将待搜索的区间不断二分，然后比较目标值与中间元素的大小关系，然后确定…
阅读更多...
基于51单片机的十字路口交通灯_5s黄灯倒计时闪烁

基于51单片机的十字路口交通灯_5s黄灯倒计时闪烁

基于51单片机十字路口交通灯_5s黄灯闪烁 （程序仿真仿真视频） 仿真：proteus 7.8 程序编译器：keil 4/keil 5 编程语言：C语言 设计编号：J006 功能要求 交通灯运行状态： （1&…
阅读更多...
[c++]——string类____详细初步了解string类的运用

[c++]——string类____详细初步了解string类的运用

在成为大人的路上喘口气. 目录 🎓标准库类型string 🎓定义和初始化string对象 💻string类对象的常见构造 💻string类对象的不常见构造 💻读写string对象 🎓 string类对象的修改操作 &#x1f4…
阅读更多...
题目：DNA序列修正（蓝桥OJ 3904）

题目：DNA序列修正（蓝桥OJ 3904）

题目描述： 解题思路： 从左到右扫描第一条 DNA 序列和第二条 DNA 序列的每一个位置，检查它们是否互补。 如果某个位置不互补，我们需要寻找第二条 DNA 序列中后续位置的碱基，看是否可以通过交换使这两个位置都互补。如果…
阅读更多...
博途PLC数组指针应用(SCL)

博途PLC数组指针应用(SCL)

CODESYS数组类型变量使用介绍 https://rxxw-control.blog.csdn.net/article/details/131375218https://rxxw-control.blog.csdn.net/article/details/131375218 博途PLC数组类型变量使用介绍还可以查看下面文章博客： https://rxxw-control.blog.csdn.net/article/details/1…
阅读更多...
模板可变参数/包装器

模板可变参数/包装器

一、什么是模板可变参数 1、对比函数可变参数 可变参数即参数的数量是不确定的，底层根据用户传入的数量，开一个数组存储对应的参数。 2、基本形式 args -- argument 参数 [0,n]个参数 // Args是一个模板参数包，args是一个函数形参参数包…
阅读更多...
最新文章

Copyright @ 2022~2023