zookeeper安装教程及其基本使用

目录

zookeeper下载:

zookeeper下载官网:

本地安装配置:

启动zookeeper:

 开启服务端:

启动客户端:

查看zookeeper的状态:

zoo.cfg文件解读:

zookeeper的集群安装:

报错分析:

选举机制---第一次启动:

部分概念:

选举机制---非第一次启动:

ZK集群的启动与停止脚本:

客户端命令行操作:

参数分析: 

节点类型(持久/短暂/有序号/无序号):

监听器原理:

监听原理详解:

 节点的值变化监听:

节点的子节点变化监听(路径变化):

 节点删除与查看:


zookeeper下载:

zookeeper下载官网:

https://zookeeper.apache.org/

点击上述,下载3.5.7版本 

本地安装配置:

下载到win机上,上传到linux上,再进行解压,修改配置文件(配置文件在conf目录下)

先修改zoo文件的名称:zoo_sample.cfg 修改为 zoo.cfg(sample是模板的意思)

进入zoo.cfg文件进行配置

需要修改dataDir的路径

在zookeeper的目录下自己创建一个目录作为zookeeper的数据与事务日志的存储目录

保存退出

启动zookeeper:

进入zookeeper的bin目录下可以找到下边两个脚本便是启动脚本文件(一个客户端,一个服务端,先启动服务端再启动客户端)

 开启服务端:

bin/zkServer.sh start

 

启动客户端:

与服务端不一样,不需要start

 进入后:

查看zookeeper的状态:

bin/zkServer.sh status

 

zoo.cfg文件解读:

tickTime=2000:

通信心跳时间,Zookeeper服务器与客户端心跳时间,单位毫秒

initLimit=10(首次连接时限):

Leader和Follower初始连接时能容忍的最多心跳数(tickTime的数量)

syncLimit=5(非首次连接时限):

Leader和Follower之间通信时间如果超过syncLimit * tickTime,Leader认为Follwer死掉,从服务器列表中删除Follwer。

clientPort=2181
客户端连接端口,通常不做修改。

dataDir=/opt/module/zookeeper-3.5.7/zkData
保存Zookeeper中的数据,一般默认temp,默认的目录容易被Linux定期删除

zookeeper的集群安装:

在上边我们已经安装好了本地模式,集群模式只需要我们修改一些配置进行分发到集群的其他服务器上即可。

(1)zkData 目录下创建一个 myid 的文件在文件中添加与 server 对应的编号(相当于唯一标识符)(注意:上下不要有空行,左右不要有空格)

(2)将配置好的文件进行分发

xsync zookeeper-3.5.7 

(3)修改配置,分发到集群的其他服务器上后需要修改zkData 目录下的myid 的文件修改为自己的唯一标识符

  (4) 修改zoo.cfg文件:

因为我们在本地模式的时候已经修改了部分配置文件,我们从本地模式转变成集群模式需要在zoo.fg文件下添加配置:

#######################cluster########################## 
server.2=hadoop102:2888:3888 
server.3=hadoop103:2888:3888 
server.4=hadoop104:2888:3888 

参数格式:

server.A=B:C:D

A 是一个数字,表示这个是第几号服务器;

集群模式下配置一个文件 myid,这个文件在 dataDir 目录下,这个文件里面有一个数据 就是 A 的值,Zookeeper 启动时读取此文件,拿到里面的数据与 zoo.cfg 里面的配置信息比 较从而判断到底是哪个 server。

B 是这个服务器的地址;

C 是这个服务器 Follower 与集群中的 Leader 服务器交换信息的端口;

D 是万一集群中的 Leader 服务器挂了,需要一个端口来重新进行选举,选出一个新的

Leader,而这个端口就是用来执行选举时服务器相互通信的端口

再次分发文件

启动zookeeper(没有成功)

报错分析:

这里我一直启动不了,因为我以前运行过本地模式,当时怀疑是存储的日志问腿,就去zkdata文件夹下删除了version-2 文件夹重启还是不能启动zookeeper,有去看了配置文件zoo.cfg,后来发现是上边新加的配置信息后边结尾带空格了,删除之后重启,启动zookeeper成功

选举机制---第一次启动:

本机制是在5台服务器的前提下进行的

(1)服务器1启动,发起一次选举。服务器1投自己一票。此时服务器1票数一票,不够半数以上(3票),选举无法完成,服务器1状态保持为LOOKING;
(2)服务器2启动,再发起一次选举。服务器1和2分别投自己一票并交换选票信息:此时服务器1发现服务器2的myid比自己目前投票推举的(服务器1)大,更改选票为推举服务器2。此时服务器1票数为0票,服务器2票数为2票,没有半数以上结果,无法选举出leader,服务器1,2状态保持LOOKING

(3)服务器3启动,发起一次选举。此时服务器1和2都会更改选票为服务器3。此次投票结果:服务器1为0票,服务器2为0票,服务器3为3票。此时服务器3的票数已经超过半数,服务器3当选Leader。服务器1,2更改状态为FOLLOWING,服务器3更改状态为LEADING;

(4)服务器4启动,发起一次选举。此时服务器1,2,3已经不是LOOKING状态,进入follow状态,不会更改选票信息。交换选票信息结果:服务器3为3票,服务器4为1票。此时服务器4服从多数,更改选票信息为服务器3,并更改状态为FOLLOWING;
(5)服务器5启动,同4一样当小弟。

总结:选举机制是一般都会先选举自己,发现不过半,则会转换自己的投票,转投myid比自己大的。当有服务器选票过半数后,则会选举出leader。后边的服务器就会进行比票,但是已经确定的leader与follow不会再进行改选。

部分概念:

SID:服务器ID。用来唯一标识一台ZooKeeper集群中的机器,每台机器不能重复,和myid一致。

ZXID:(客户端每次执行写操作都有事务id)事务ID。ZXID是一个事务ID,用来标识一次服务器状态的变更。在某一时刻, 集群中的每台机器的ZXID值不一定完全一 致,这和ZooKeeper服务器对于客户端“更 新请求”的处理逻辑有关。

Epoch:每个Leader任期的代号。没有

Leader时同一轮投票过程中的逻辑时钟值是 相同的。每投完一次票这个数据就会增加

选举机制---非第一次启动:

(1)当ZooKeeper集群中的一台服务器出现以下两种情况之一时,就会开始进入Leader选举:

服务器初始化启动。

• 服务器运行期间无法和Leader保持连接。 (2)而当一台机器进入Leader选举流程时,当前集群也可能会处于以下两种状态:

• 集群中本来就已经存在一个Leader。 对于第一种已经存在Leader的情况,机器试图去选举Leader时,会被告知当前服务器的Leader信息,对于该机器来说,仅仅需要和Leader机器建立连 接,并进行状态同步即可。

• 集群中确实不存在Leader。

假设ZooKeeper由5台服务器组成,SID分别为1、2、3、4、5,ZXID分别为8、8、8、7、7,并且此时SID为3的服务器是Leader。某一时刻,3和5服务器出现故障,因此开始进行Leader选举。 SID为1、2、4的机器投票情况(分别为EPOCH,ZXID,SID ): (1,8,1) (1,8,2) (1,7,4) 

选举Leader规则: ①EPOCH大的直接胜出 ②EPOCH相同,(ZXID)事务id大的胜出

③(ZXID)事务id相同,(SID)服务器id大的胜出

ZK集群的启动与停止脚本:

注:start/stop/status不要换行,会让脚本失效,显示找不到

#!/bin/bash 
 
case $1 in 
"start"){ 
 for i in hadoop102 hadoop103 hadoop104 
 do 
 echo ---------- zookeeper $i 启动 ------------ 
 ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start" 
 done 
};; 
"stop"){ 
 for i in hadoop102 hadoop103 hadoop104 
 do 
 echo ---------- zookeeper $i 停止 ------------ 
 ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop" 
 done 
};; 
"status"){ 
 for i in hadoop102 hadoop103 hadoop104 
 do 
 echo ---------- zookeeper $i 状态 ------------ 
 ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status" 
 done 
};; 
esac

客户端命令行操作:

启动特定服务器的客户端:

 bin/zkCli.sh -server hadoop102:2181

查看节点信息:
 

ls -s /

参数分析: 

(1)czxid:创建节点的事务 zxid

每次修改 ZooKeeper 状态都会产生一个 ZooKeeper 事务 ID。事务 ID 是 ZooKeeper 中所 有修改总的次序。每次修改都有唯一的 zxid,如果 zxid1 小于 zxid2,那么 zxid1 在 zxid2 之 前发生。

(2)ctime:znode 被创建的毫秒数(从 1970 年开始)

(3)mzxid:znode 最后更新的事务 zxid

(4)mtime:znode 最后修改的毫秒数(从 1970 年开始)

(5)pZxid:znode 最后更新的子节点 zxid

(6)cversion:znode 子节点变化号,znode 子节点修改次数

(7)dataversion:znode 数据变化号

(8)aclVersion:znode 访问控制列表的变化号

(9)ephemeralOwner:如果是临时节点,这个是 znode 拥有者的 session id。如果不是 临时节点则是 0。

(10)dataLength:znode 的数据长度

(11)numChildren:znode 子节点数量

节点类型(持久/短暂/有序号/无序号):

持久(Persistent):客户端和服务器端断开连接后,创建的节点不删除

短暂(Ephemeral):客户端和服务器端断开连接后,创建的节点自己删除

持久化顺序编号目录节点:

客户端与Zookeeper断开连接后,该节点依旧存在,只是Zookeeper给该节点名称进行顺序编号

3)临时目录节点

客户端与Zookeeper断开连接后,该节点被删除

4)临时顺序编号目录节点

客户端与Zookeeper断开连接后,该节点被删除,只是Zookeeper给该节点名称进行顺序编号

(被删除后,会从该节点进行递增编号)

示例:

create /sanguo "diaochan" 

在你创建节点的时候必须代值

create /sanguo/shuguo "liubei" 

不要依/结尾

ls /sanguo

上述代码“ls”只能查看当前节点是否有子节点,不能查看节点的值

get -s /sanguo

上述命令可以查看节点的值

上述创建的为不带序号的永久节点

 创建带序号的永久节点:

create -s /sanguo/weiguo/zhangliao "zhangliao"

 

 可以看到节点zhangliao是带节点的

带序号的情况下,我再次执行上边语句:

 会显示创建了002号节点 ,但是如果我们创建的是不带序号的已经存在的永久节点,那么就会报错节点已经存在

创建临时节点:

创建临时节点是加上  -e

create -e /sanguo/wuguo "sunquan"

这个语句是创建的不带序号的临时节点

下边我们再次创建带序号的临时节点:

创建的还是吴国

 create -e -s /sanguo/wuguo "zhouyu"

 

断开客户端,查看临时节点是否还存在:

 

 修改节点的值:

监听器原理:

监听器主要是监听  监听节点数据的变化 (get path [watch])与 监听子节点增减的变化(ls path [watch])

监听原理详解:

1)首先要有一个main()线程

2)在main线程中创建Zookeeper客户端,这时就会创建两个线

程,一个负责网络连接通信(connet),一个负责监听(listener)。

3)通过connect线程将注册的监听事件发送给Zookeeper。

4)在Zookeeper的注册监听器列表中将注册的监听事件添加到列表中。

5)Zookeeper监听到有数据或路径变化,就会将这个消息发送给listener线程。

6)listener线程内部调用了process()方法。

 节点的值变化监听:

在开启103,104两台服务器的本地客户端

在hadoop104主机上注册监听/sanguo节点数据变化:

 get -w /sanguo 

在hadoop103主机上修改/sanguo节点的数据:

set /sanguo "xisi" 

观察hadoop104主机收到数据变化的监听:

但是,申请监听只能监听到一次它的修改,在hadoop103再多次修改/sanguo的值,hadoop104上不会再收到监听。因为注册一次,只能监听一次。想再次监听,需要再次注册。

节点的子节点变化监听(路径变化):

在hadoop104主机上注册监听/sanguo节点的子节点变化

ls -w /sanguo 

 在hadoop103主机/sanguo节点上创建子节点

create /sanguo/jin "simayi"

观察hadoop104主机收到子节点变化的监听:

注意:节点的路径变化,也是注册一次,生效一次。想多次生效,就需要多次注册。

 节点删除与查看:

删除单个节点:

delete /sanguo/jin 

 递归删除节点:

deleteall /sanguo/shuguo 

查看节点状态:

stat /sanguo

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/69524.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

认识 spring 中的事务 与 事务的传播机制

前言 本篇介绍spring中事务的实现方式,如何实现声明式事务,对事物进行参数的设置,了解事务的隔离级别和事务的传播机制;如有错误,请在评论区指正,让我们一起交流,共同进步! 文章目录…

史上最强,Jenkins插件实现多个Job并行后再触发Job详细,一篇贯通...

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 在利用Jenkins来自…

【使用Hilbert变换在噪声信号中进行自动活动检测】基于Hilbert变换和平滑技术进行自动信号分割和活动检测研究(Matlab代码实现)

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️座右铭&a…

echart图案例

效果 代码&#xff1a; index.vue <template><div class"pageBox"><div class"oneLineBox"><div class"fourColorImgBox"><div class"titleBox">企业风险四色图</div><div class"conte…

自建机房还是选择云服务器?以腾讯云为例

大企业是选择自购服务器自建机房还是使用腾讯云服务器&#xff1f;都说企业上云是趋势&#xff0c;自建机房是一次性支出&#xff0c;上云租赁云服务器等产品需要年年续费&#xff0c;大型企业有必要把数据中心迁移上云吗&#xff1f;腾讯云服务器网想说&#xff0c;自建机房购…

Postman 汉化及下载

Postman 是一款常用的 API 测试工具&#xff0c;可以方便地进行接口测试、调试和文档编写。本文将详细介绍如何下载安装 Postman 并汉化&#xff0c;包括每个步骤的详细说明。 下载安装 Postman 1、打开浏览器&#xff0c;访问 Postman 官网&#xff0c;下载适用于自己系统的…

强化学习-信任区域策略优化和近端策略优化(第7章)

来源书籍&#xff1a; TENSORFLOW REINFORCEMENT LEARNING QUICK START GUIDE 《TensorFlow强化学习快速入门指南-使用Python动手搭建自学习的智能体》 著者&#xff1a;[美]考希克巴拉克里希南&#xff08;Kaushik Balakrishnan&#xff09; 译者&#xff1a;赵卫东 出版…

Kendo UI for jQuery,一个现代的jQuery UI组件!

Kendo UI for jQuery是什么&#xff1f; Kendo UI for jQuery是完整的jQuery UI组件库&#xff0c;可快速构建出色的高性能响应式Web应用程序。Kendo UI for jQuery提供在短时间内构建现代Web应用程序所需要的工具&#xff0c;从多个UI组件中选择&#xff0c;并轻松地将它们组…

图像多目标跟踪

目标跟踪&#xff08;Object Tracking&#xff09;是自动驾驶中常见的任务&#xff0c;根据跟踪目标数量的不同&#xff0c;目标跟踪可分为&#xff1a; 单目标跟踪&#xff08;Single Object Tracking&#xff0c;SOT&#xff09;多目标跟踪&#xff08;Multi-Objects Tracki…

餐馆包厢隔断装修该怎么去设计

餐馆包厢隔断装修设计需要综合考虑以下几个方面&#xff1a; 1. 功能布局&#xff1a;根据包厢的面积和形状来确定餐桌、椅子、电视等家具的摆放方式&#xff0c;保证客人的用餐舒适度和便利性。 2. 音响设备&#xff1a;安装合适的音响设备&#xff0c;提供一定的音乐背景&…

SQL 相关子查询 和 不相关子查询、Exists 、Not Exists、 多表连接(包含自连接)

不相关子查询 子查询的查询条件不依赖于父查询&#xff0c;称不相关子查询。子查询可以单独运行的 select stu_id,sex,age from student t where sex(select sexfrom studentwhere stu_id10023 )相关子查询 关联子查询 子查询的查询条件依赖于父查询&#xff0c;称为 相关子…

【c语言】 -- 指针进阶

&#x1f4d5;博主介绍&#xff1a;目前大一正在学习c语言&#xff0c;数据结构&#xff0c;计算机网络。 c语言学习&#xff0c;是为了更好的学习其他的编程语言&#xff0c;C语言是母体语言&#xff0c;是人机交互接近底层的桥梁。 本章来学习指针进阶。 让我们开启c语言学习…

家电用PCM板:市场现状研究分析与发展前景预测

家电PCM板属于一种兴起不久的功能性复合材料。属于家电复合外观材料中占比较大的一种。家电复合外观材料主要分为覆膜板&#xff08;VCM&#xff09;系列和有机涂层板&#xff08;PCM&#xff09;系列两大类&#xff1a;VCM系列表面复合各类功能性薄膜&#xff0c;可根据需要实…

与传统IT开发相比,低代码开发具备哪些优势?

目录 一、低代码来源 二、低代码开发的特征 1、可视化建模 2、组件丰富 3、完整应用生命周期支持 4、私有化部署 三、对比传统系统开发&#xff0c;低代码开发具备哪些优势&#xff1f; 01.使需求方参与开发过程 02.助力开发人员节省更多时间 03.跨平台部署多端应用 04.助力企业…

c刷题(二)

目录 加减混合运算 计算n的k次方 计算非负整数各位之和 字符串逆序 双指针 递归 矩阵计算 矩阵转置 加减混合运算 题目&#xff1a;计算1 / 1 - 1 / 2 1 / 3 - 1 / 4 1 / 5 …… 1 / 99 - 1 / 100 的值&#xff0c;打印出结果。 一般情况我们可以写个循环然后在用条…

win10 安装ubuntu子系统并安装宝塔

1、安装子系统 2、ubuntu 中安装宝塔 这里需要注意的&#xff1a; 大部分文章上写的是“面板账户登录信息”不能直接访问&#xff0c;要改成127.0.0.1&#xff1a;8888去访问。 这种情况适合“面板账户登录信息”端口就是8888。 想我的就是32757 这时你就要用 http://127.0.0…

开启想象翅膀:轻松实现文本生成模型的创作应用,支持LLaMA、ChatGLM、UDA、GPT2、Seq2Seq、BART、T5、SongNet等模型,开箱即用

开启想象翅膀&#xff1a;轻松实现文本生成模型的创作应用&#xff0c;支持LLaMA、ChatGLM、UDA、GPT2、Seq2Seq、BART、T5、SongNet等模型&#xff0c;开箱即用 TextGen: Implementation of Text Generation models 1.介绍 TextGen实现了多种文本生成模型&#xff0c;包括&a…

Leetcode 977. 有序数组的平方

题目&#xff1a; Leetcode 977. 有序数组的平方 描述&#xff1a; 给你一个按 非递减顺序 排序的整数数组 nums&#xff0c;返回 每个数字的平方 组成的新数组&#xff0c;要求也按 非递减顺序 排序 思路&#xff1a; 双指针法 数组其实是有序的&#xff0c; 只不过负数平方之…

Unity使用C# Protobuf源码

目录 第一步&#xff1a;下载源码 第二步&#xff1a;运行C#构建文件 第三步&#xff1a;处理报错&#xff08;如果你已安装对应的SDK则不会报错&#xff09; 第四步&#xff1a;复制库文件到你的工程 第一步&#xff1a;下载源码 protobuf github源码https://github.com/p…

pom文件---maven

027-Maven 命令行-实验四-生成 Web 工程-执行生成_ev_哔哩哔哩_bilibili 27节.后续补充 一.maven下载安装及配置 1)maven下载 2) settings文件配置本地仓库 3)settings配置远程仓库地址 4)配置maven工程的基础JDK版本 5)确认JDK环境变量配置没问题,配置maven的环境变量 验证…