zookeeper集群和kafka集群

(一)kafka

1、kafka3.0之前依赖于zookeeper

2、kafka3.0之后不依赖zookeeper,元数据由kafka节点自己管理

(二)zookeeper

1、zookeeper是一个开源的、分布式的架构,提供协调服务(Apache项目)

(1)基于观察者模式涉及的分布式服务管理架构
(2)存储和管理数据,分布式节点上的服务接受观察者的注册,一旦分布式节点上的数据发生变化,由zookeeper负责同时分布式节点上的服务

2、zookeeper分为:领导者和追随者leader、follower组成的集群

(1)只要有一半以上的集群存活,zookeeper集群就可以正常工作,适用于安装奇数台的服务集群
(2)全局数据一致,每一个zookeeper每一个几点都保存相同的数据,维护监控服务的数据一致
(3)数据更新的原子性,要么都成功、要么都失败
(4)实时性,只要有变化,立即同步

3、zookeeper的应用场景(记)

(1)统一命名服务:在分布式的环境下,对所有的应用和服务及女性统一命名
(2)统一配置管理:配置文件同步,kafka的配置文件被修改,可以快速同步到其他节点
(3)统一集群管理(重点):实时掌握所有节点的状态
(4)服务器动态上下线
(5)实现负载均衡,把访问的服务器的数据,发送到访问最少的服务器处理客户端的请求

4、zookeeper的选举机制:领导者和追随者

例:3台服务器:leader一旦确定,后续的服务器都是追随者
(1)A先启动,发起第一次选举,投票给自己,只有1票,不满半数,A的状态是looking
(2)B启动,再发起一次选举,A和B分别投自己一票,交换选票信息,(myid)A发现B的myid比A大,A的这一票转而投给B(A 0;B 2),没有半数以上结果,A、B会进入looking(B有可能成为leader,C也就成为follower)
(3)C启动,C的myid最大,A和B都会把票投给C(A0;B0;C3),C的状态变为leader,A和B变成follower
(4)只有两种情况会重新开启选举
①初始化的情况会产生选举
②服务器之间和leader丢失了连接状态
*若leader已存在,建立间接即可
*若leader不存在:
服务器id的胜出
EPOCH大,直接胜出
EPOCH相同,事务ID大的胜出
*EPOCH是每个leader任期时的代号,没有leader,大家的逻辑地位相同,每投完一次之后,数据是递增
*事务id是标识服务器的每一次变更,每变更一次事务id就变化一次
*服务器id,每一个zookeeper集群中的机器都有一个id,每台机器不重复,和myid保持一致

(三)部署zookeeper

20.0.0.10

zookeeper+kafka(2核4G)

20.0.0.20

zookeeper+kafka(2核4G)

20.0.0.30

zookeeper+kafka(2核4G)

1、部署环境

升级Java:yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

cp zoo_sample.cfg  zoo.cfg

2、修改zookeeper的配置文件

server.1=20.0.0.10:3188:3288
1:表示每个zookeeper集群的初始myid
20.0.0.10:服务器的ip地址
3188:领导者和追随者之间交换信息的端口(内部通信的端口)
3288:一旦leader丢失响应,开启选举,3288就是用来执行选举时的服务器之间的通信端口
(1)创建目录

(2)分配myid

(3)编写zookeeper的启动脚本

chmod +x /etc/init.d/zookeeper

添加到系统服务中:chkconfig --add zookeeper

(四)消息队列:kafka

1、为什么要引入消息队列(MQ)

(1)他也是一个中间件,在高并发环境下,同步请求来不及处理,来不及处理的请求会形成堵塞。比方说数据库就会形成行锁或者表锁,请求线程满了,超标了,too much connection,导致整个系统雪崩

2、消息队列的作用:异步处理请求、流量削峰,应用解耦、可恢复性、缓冲、峰值的处理能力、异步通信

(1)耦合:在软件系统当中,修改一个组件需要修改所有其他组件,高度耦合
(2)低度耦合:修改其中一个组件,对其他影响不大,无需修改所有
(3)解耦:只要通信保证,其他的修改不影响整个集群,每一个组件可以独立的扩展,修改,降低组件之间的依赖性,依赖点就是接口约束,通过不同的端口,保证集群通信
(4)可恢复性:系统当中的有一部分组件消失,不影响整个系统,也就是说在消息队列当中,即使有一个处理消息的进程失败,一旦恢复,还可以重新加入到队列当中,继续处理消息
(5)缓冲:可以控制和优化数据经过系统的时间和速度,解决生产消息和消费消息处理速度不一致的问题
(6)峰值的处理能力:消息队列在峰值的情况下,能够顶住突发的访问压力(核心作用),避免专门为了突发情况而对系统进行修改
(7)异步通信:允许用户把一个消息放入队列,但是不立即处理,等用户想处理的时候再处理

3、消息队列的模式

(1)点对点:一对一,消息的生产者发送消息到队列中,消费者从队列中提取消息,消费者取完之后,队列中被提取的消息将会被移除,后续的消费者不能再继续消费队列当中的消息,消息队列可以有多个消费者,但是一个消息只能由一个消费者提取(RABBITMQ)
(2)发布/订阅模式:一对多(观察者模式),消费者提取数据之后,队列中的消息不会被清除。生产者发布一个消息到主题,所有消费者都是通过主题获取消息

组件:

①主题:topic,topic类似一个数据流的管道,生产者把消息发布到主题,消费者从主题中订阅数据(获取数据),主题可以分区,每个分区都有自己的偏移量
②分区:partition。每个主题都可以分成多个分区,每个分区是数据的有序子集,分区可以允许kafka进行水平扩展,以处理大量数据。消息在分区按照偏移量存储,消费者可以独立读取每个分区的数据(存储生产者发布的数据)
③偏移量是每个消息在分区中唯一的标识,消费者可以通过偏移量来跟踪获取已读或者未读消息的位置,也可以提交偏移量来记录已处理的信息
④生产者:producer,生产者把数据发送给kafka的主题当中,负责写入消息
⑤消费者:consumer,从主题当中读取数据,消费者可以是一个也可以是多个,每个消费者有一个唯一的消费者组id,kafka通过消费者实现负载均衡和容错性
⑤经纪人:broker,每个kafka节点都有一个broker,每一个负责一台kafka服务器,id唯一,处理存储主题分区当中的数据,处理生产和消费者的请求,维护元数据(zookeeper)
⑥zookeeper:zookeeper负责保存元数据,元数据就是topic的相关信息(发布在哪台主机上,指定了多少分区,以及副本数,偏移量)。
zookeeper默认自建的主题:_consumer_offsets。
*3.0之后不依赖zookeeper的核心:元数据由kafka节点自己管理

(五)kafka的工作流程

1、至少一次语义:只要消费者进入,确保消息至少被消费一次

(六)zookeeper+kafka(2.7.0)——配置kafka(2.7.0)

2181:zookeeper对外服务的端口

9092:kafka的默认端口

1、安装kafka

2、声明环境变量

export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin

3、修改配置文件

4、设置kafka的启动脚本

chmod +x /etc/init.d/kafka
chkconfig --add kafka
service kafka start

5、设置主机映射(否则识别不到)

6、创建主题(在kafka的bin目录下执行命令)

kafka-topics.sh --create --zookeeper 20.0.0.10:2181,20.0.0.20:2181,20.0.0.30:2181 --replication-factor 2 --partitions 3 --topic hyde1

创建主题:创建主题:创建主题,必须创建分区,指定副本
(1)在kafka的bin目录下,是所有kafka可执行命名文件
2--zookeeper:指定的是zookeeper的地址和端口,保存kafka的元数据
3--replication-factor 2:指定分区的副本数(实现冗余)
(4)partition 3 :指定主题的分区数
(5)--topic test1 指定主题的名称。
查看主题的详细信息:
kafka-topics.sh --describe --zookeeper 20.0.0.10:2181,20.0.0.20:2181,20.0.0.30:2181

kafka-topics.sh --describe --zookeeper 20.0.0.10:2181,20.0.0.20:2181,20.0.0.30:2181 --topic hyde1

7、发布消息和消费消息

(1)发布消息
kafka-console-producer.sh --broker-list 20.0.0.10:9092,20.0.0.20:9092,20.0.0.30:9092 --topic hyde1

(2)消费消息
①全部获取:
kafka-console-consumer.sh --bootstrap-server 20.0.0.10:9092,20.0.0.20:9092,20.0.0.30:9092 --topic hyde1 --from-beginning

②实时获取:
kafka-console-consumer.sh --bootstrap-server 20.0.0.10:9092,20.0.0.20:9092,20.0.0.30:9092 --topic hyde1

8、不同主机订阅不同主题

(1)指定创建主题
kafka-topics.sh --create --zookeeper 20.0.0.20:2181 --replication-factor 1 --partitions 1 --topic hyde2

(2)发布消息
kafka-console-producer.sh --broker-list 20.0.0.20:9092 --topic hyde2

(3)消费消息
kafka-console-consumer.sh --bootstrap-server 20.0.0.20:9092 --topic hyde3 --from-beginning

9、修改分区数

kafka-topics.sh --zookeeper 20.0.0.20:2181 --alter --topic hyde2 --partitions 3
kafka-topics.sh --describe --zookeeper 20.0.0.20:2181 --topic hyde2

10、删除主题:(只是打上“删除”的标记,并不是真正的删除,还保存在元数据中)

kafka-topics.sh --delete --zookeeper 20.0.0.20:2181 --topic hyde2

11、查看内部保存的元数据信息

总结:

1、zookeeper:主要是分布式、观察者模式,统一各个服务器节点的数据
在kafka当中,zookeeper主要是收集、保存kafka的元数据
2、kafka消息队列,订阅发布模式(速度快,处理大数据)
   RABDIT MQ(轻量级):实现rabbit MQ消息队列
3、kafka的组件
(1)主题
(2)分区(存储消息的位置)
(3)偏移量

(七)配置kafka(3.4.1)(还是依赖于zookeeper)

1、部署zookeeper组件

2、安装kafka(3.4.1)

3、修改配置文件

4、添加环境变量

5、编辑启动脚本

chmod +x /etc/init.d/kafka
chkconfig --add kafka
service kafka start

6、创建主题

kafka-topics.sh --create --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --replication-factor 2 --partitions 3 --topic hyde1

7、查看主题

1查看列表
kafka-topics.sh --list --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093

2查看主题详情
kafka-topics.sh --describe --bootstrap-server 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093

8、发布、消费消息

1发布消息
kafka-console-producer.sh --broker-list 20.0.0.51:9092,20.0.0.52:9092,20.0.0.53:9093 --topic hyde1

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/206876.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

91基于matlab的以GUI实现指纹的识别和匹配百分比

基于matlab的以GUI实现指纹的识别和匹配百分比,中间有对指纹的二值化,M连接,特征提取等处理功能。数据可更换自己的,程序已调通,可直接运行。 91M连接 特征提取 (xiaohongshu.com)

国产linux单用户模式破解无密码登陆 (麒麟系统用户登录密码遗忘解决办法)

笔者手里有一批国产linu系统,目前开始用在日常的工作生产环境中,我这个老程序猿勉为其难的充当运维的或网管的角色。 国产linux系统常见的为麒麟Linux,统信UOS等,基本都是基于debian再开发的linux。 问题描述: 因为…

Windows系列:windows server 2016 下域环境的搭建(完整版)

windows server 2016 下域环境的搭建(完整版) windows server 2016 下域环境的搭建在搭建之前简单介绍一下基础知识:一、环境介绍 :1.这里用拓扑图进行展示:2.所有环境配置如下 二、搭建主域:一. 创建主域1…

天眼销:精准的企业名录

企业名录的重要性,对于销售而言都是极其重要的。本期为家人们分享如何正确挑选出优质的企业名录渠道,避免走一些弯弯坑坑。 为了有效利用企业名录进行客户开发,您需要关注信息的准确性、可提供的资源数量以及信息的时效性。能否根据您的需求…

统信UOS和vue.js的一个兼容问题

作者:朱金灿 来源:clever101的专栏 为什么大多数人学不会人工智能编程?>>> 这事到现在说起还很奇怪,在UOS20(硬件为华为鲲鹏服务器,arm架构,g8.3)上部署uve.js&#xff0…

Windows10中在Visual Studio2017中VC++项目安装使用GoogleTest库

Windows10中在Visual Studio2017中VC项目安装使用GoogleTest库 在Windows10中VC程序中可以不用自己手动下载GoogleTest源代码,可以直接通过【项目】-> 【管理 NuGet 程序包】-> 【浏览】-> 搜索 googletest, 找到Microsoft.googletest.v140.wi…

LabVIEW开发自适应降噪ANC

LabVIEW开发自适应降噪ANC 在许多情况下,信号很嘈杂,必须消除噪声。自适应降噪(ANC)是可用于消除信号噪声的主要实时方法之一。可以使用LabVIEW自适应滤滤器工具包来设计ANC应用程序。本文介绍使用自适应筛选器工具包的ANC的一些…

GAN:WGAN前作

WGAN前作:有原则的方法来训练GANs 论文:https://arxiv.org/abs/1701.04862 发表:ICLR 2017 本文是wgan三部曲的第一部。文中并没有引入新的算法,而是标是朝着完全理解生成对抗网络的训练动态过程迈进理论性的一步。 文中基本是…

Neo4j 程序开发 JavaAPI 嵌入式开发模式(头歌)

文章目录 第1关:JavaAPI 嵌入式开发模式任务描述相关知识创建 Neo4j 数据库启动 Neo4j 数据事务创建节点创建节点关系将创建的数据库设置为默认数据库 编程要求测试说明答案代码修改配置文件,更改默认 Neo4j 数据库代码文件 第1关:JavaAPI 嵌…

C#开发的OpenRA游戏之属性SelectionDecorations(14)

C#开发的OpenRA游戏之属性SelectionDecorations(14) 前面分析选择类时,还有一个功能,就是把选中物品的状态和生命值显示出来。 它是通过下面的函数来实现: protected override IEnumerable<IRenderable> RenderSelectionBars(Actor self, WorldRenderer wr, bool …

网络安全应急响应-Server2228(环境+解析)

网络安全应急响应 任务环境说明: 服务器场景:Server2228(开放链接)用户名:root,密码:p@ssw0rd123

【稳定检索|投稿优惠】2024年生物神经工程与健康大数据国际会议(ICBNHBD 2024)

2024年生物神经工程与健康大数据国际会议(ICBNHBD 2024) 2024 International Conference on Biological Neuroengineering and Health Big Data(ICBNHBD) 一、【会议简介】 2024年生物神经工程与健康大数据国际会议(ICBNHBD 2024)&#xff0c;这场科学盛宴&#xff0c;会议在中…

开关电源工作时,如何抑制纹波和减小高频噪声?

开关电源的纹波和噪声是一个本质问题&#xff0c;换而言之无论纹波和噪声多么小&#xff0c;也无法从根本上去除&#xff0c;再绝对的讲开关电源无论成本怎么提高&#xff0c;也无法完全达到线性电源的性能和特点。那么&#xff0c;通常抑制或减少它的做法有五种&#xff1a; …

2分图匹配算法

定义 节点u直接无边&#xff0c;v之间无边&#xff0c;边只存在uv之间。判断方法&#xff1a;BFS染色法&#xff0c;全部染色后&#xff0c;相邻边不同色 无权二部图中的最大匹配 最大匹配即每一个都匹配上min&#xff08;u&#xff0c; v&#xff09;。贪心算法可能导致&…

OLED双面显示广告机的应用场景

OLED双面显示广告机是一种创新的广告设备&#xff0c;它具有双面显示屏幕&#xff0c;可以同时向两个方向展示广告或信息。这种设备被广泛应用于各种场景&#xff0c;例如&#xff1a; 商业展示&#xff1a;在大型商业场所&#xff0c;如购物中心、百货商场等&#xff0c;OLED双…

WPS导出的PDF比较糊,和原始的不太一样,将带有SVG的文档输出为PDF

一、在WPS的PPT中 你直接输出PDF可能会导致一些问题&#xff08;比如照片比原来糊&#xff09;/ 或者你复制PPT中的图片到AI中类似的操作&#xff0c;得到的照片比原来糊&#xff0c;所以应该选择打印-->高级打印 然后再另存为PDF 最后再使用AI打开PDF文件再复制到你想用…

redis单机版本安装

redis单机版本安装 1.redis单机版源码编译安装搭建(4.0示例) redis下载地址 https://redis.io/download redis源码编译 #!/bin/sh yum install -y wget gcc gcc-c make tar openssl openssl-devel cmakecd /usr/local/src wget http://download.redis.io/releases/redis-4…

webpack优化打包速度

webpack打包速度太慢 优化 1.多线程打包 js压缩和loader 2.优化启动速度 hard-source-webpack-plugin 3.删除无用的 分析类插件 4.DllPlugin通道打包 1.webpack多线程打包 loader loader 使用 thread-loader 将他放置你要使用的loader前面就行&#xff0c;不过这个lorder例如s…

文章解读与仿真程序复现思路——电力系统自动化EI\CSCD\北大核心《参与电网削峰调节的电动重卡换电站调度策略》

标题"参与电网削峰调节的电动重卡换电站调度策略"表明这是一个关于电动重型卡车和电网协同运营的主题。下面对标题中的关键术语进行解读&#xff1a; 电动重卡&#xff1a; 指的是使用电力驱动而不是传统燃油的重型卡车&#xff0c;通常是指货运卡车。电动卡车的使用…

封装flutter webview页面

例如在flutter里面跳转百度页面 需要安装webview_flutter webview_page.dart import package:flutter/material.dart; import package:webview_flutter/webview_flutter.dart;class MyWebView extends StatefulWidget {const MyWebView({super.key, required this.webViewUrl,…