ZooKeeper 使用介绍和原理详解

目录

1. 介绍

重要性

应用场景

2. ZooKeeper 架构

服务角色

数据模型

工作原理

3. 安装和配置

下载 ZooKeeper

安装和配置

启动 ZooKeeper

验证和管理

停止和关闭

4. ZooKeeper 数据模型

数据结构和层次命名空间:

节点类型和 Watcher 机制:

5. 分布式锁

实现分布式锁的基本步骤

代码示例(Java)

避免死锁

6. 选举机制

选举机制基本流程

选举代码示例

7. 实战案例

引入 ZooKeeper 客户端依赖

创建 ZooKeeper 连接

进行节点操作

注意事项


1. 介绍

        ZooKeeper是一个开源的分布式协调服务,为分布式系统提供高效的管理和协调机制。它被广泛应用于解决分布式系统中的各种共识问题,如配置管理、命名服务、分布式锁、分布式队列、选举算法等。以下是ZooKeeper在分布式系统中的重要性和应用场景:

重要性

  • 一致性服务:ZooKeeper提供强一致性的数据模型,能够保证数据在分布式环境下的一致性。它采用了Paxos算法等技术,确保数据的原子性和顺序性。

  • 分布式锁和同步:通过ZooKeeper,可以实现分布式系统中的锁和同步机制,确保多个节点对共享资源的互斥访问和同步操作。

  • 配置管理:ZooKeeper可用于集中式管理配置信息,各个节点可以通过ZooKeeper获取最新的配置数据,实现配置的动态更新和统一管理。

  • 命名服务:提供类似于目录树的结构,可以用于命名服务,帮助系统发现和定位各种服务和资源。

  • 分布式协调和领导者选举:ZooKeeper提供了一套轻量级的协调机制,用于实现分布式系统中的领导者选举、Master/Slave模式等场景。

应用场景

  • 分布式应用的配置管理:对于需要共享配置信息的分布式应用,ZooKeeper提供了一个可靠的配置中心,确保所有节点都能获取到最新的配置。

  • 分布式锁和同步:在多个节点之间实现资源的互斥访问,如分布式任务调度、分布式缓存的缓存更新等。

  • 分布式协调服务:例如,分布式集群中的领导者选举、Master/Slave模式的切换等场景。

  • 分布式队列:通过ZooKeeper实现分布式队列,实现数据的有序处理和异步处理。

  • 服务发现与注册:提供服务发现的功能,帮助系统在分布式环境下发现和定位各种服务。

2. ZooKeeper 架构

服务角色

  1. Leader(领导者):负责处理客户端的写请求(如创建、更新、删除数据等)。它确保所有写请求按顺序被处理,并将更改广播给所有服务器。

  2. Followers(追随者):复制Leader的数据状态,并处理客户端的读请求。它们参与投票选举Leader,并与Leader保持同步。

  3. Observer(观察者):类似于Follower,但不参与投票。Observer接收Leader的状态更改,但不参与投票过程。它们可以减轻Leader负载并提高读取性能。

数据模型

ZooKeeper的数据模型类似于文件系统的目录结构,由节点(Node)组成,每个节点称为ZNode。ZNode可以存储数据和元数据,并具有唯一的路径标识。

工作原理

  1. 一致性(Consistency):ZooKeeper保持强一致性,确保所有Follower和Observer的数据与Leader保持一致。当客户端写入数据时,Leader将更改广播给所有节点,并在超过半数节点确认后提交更改。

  2. 可用性(Availability):ZooKeeper的集群中,只要有半数以上节点是可用的,系统就可以继续提供服务。客户端可以从任何节点读取数据。

  3. 分区容错性(Partition Tolerance):ZooKeeper使用多数派机制(Quorum),确保在网络分区时集群能够正常工作。即使分区发生,只要超过半数节点仍然能够互相通信,系统就能继续服务。

  4. Leader选举(Leader Election):ZooKeeper使用ZAB(ZooKeeper Atomic Broadcast)协议进行Leader选举。当Leader失效时,Followers会投票选举一个新的Leader。

  5. 数据同步(Data Synchronization):Leader负责接收客户端写入的请求,并将更改复制到Followers和Observers。这确保了数据的一致性和可用性。

        ZooKeeper通过以上机制和算法确保了其高一致性、高可用性和分区容错性,为分布式应用提供了可靠的服务。其基于ZAB协议的工作方式使得ZooKeeper能够在分布式环境下有效地管理数据和协调系统的各项任务。

3. 安装和配置

下载 ZooKeeper

  1. 官方网站:访问 Apache ZooKeeper 下载页面,选择最新稳定版本的 ZooKeeper。

安装和配置

  1. 解压文件:将下载的 ZooKeeper 压缩包解压到本地文件夹。

  2. 配置文件:在 ZooKeeper 安装目录下,找到 conf 文件夹,并复制 zoo_sample.cfg 文件为 zoo.cfg

  3. 编辑配置文件:使用文本编辑器打开 zoo.cfg 文件,配置 ZooKeeper 的相关参数,如端口号、数据目录等。确保 dataDir 配置为合适的数据存储目录。

启动 ZooKeeper

  1. 启动服务:使用命令行进入 ZooKeeper 安装目录的 bin 文件夹,并执行以下命令启动 ZooKeeper 服务:

    ./zkServer.sh
    或者在 Windows 环境下执行:zkServer.cmd

验证和管理

  1. 验证服务:使用 ZooKeeper 客户端命令连接到 ZooKeeper 服务器,确保服务已启动。

    ./zkCli.sh -server localhost:2181

    如果连接成功,将会出现 ZooKeeper 命令行提示符。

  2. 管理和操作:通过命令行或 ZooKeeper 的 API 进行节点的创建、读取、更新和删除操作。例如:

    • 创建节点:

      create /myNode myData
    • 读取节点:

      get /myNode
    • 更新节点:

      set /myNode newData
    • 删除节点:

      delete /myNode

停止和关闭

在命令行中执行以下命令关闭 ZooKeeper 服务:

./zkServer.sh stop

 Windows 环境下执行:

zkServer.cmd stop

4. ZooKeeper 数据模型

数据结构和层次命名空间:

  • 层次命名空间:ZooKeeper 组织为层次结构,类似于文件系统的目录结构,通过路径名来表示节点。

  • znode:每个节点在层次结构中都是一个 znode,有唯一的路径标识。

节点类型和 Watcher 机制:

        ZooKeeper 节点有不同的类型,包括持久节点、临时节点、持久顺序节点和临时顺序节点。Watcher 是一种事件通知机制,可在节点状态更改时接收通知。

  • 节点类型

    • 持久节点(Persistent Nodes):一旦创建,持久节点会一直存在,直到显式删除。
    • 临时节点(Ephemeral Nodes):与客户端会话关联,客户端断开连接时,临时节点会被删除。
    • 持久顺序节点(Persistent Sequential Nodes):与持久节点类似,但节点名称末尾会附加一个数字后缀,表示创建顺序。
    • 临时顺序节点(Ephemeral Sequential Nodes):与临时节点类似,节点名称末尾有数字后缀。
  • Watcher 机制:客户端可以在节点上设置 Watcher,当节点状态发生变化(例如创建、删除、数据更新等)时,ZooKeeper 将触发 Watcher 事件通知客户端。

5. 分布式锁

        分布式锁是一种用于在分布式系统中控制对共享资源访问的机制。ZooKeeper可以用于实现分布式锁,其基本思想是创建一个独占节点(即只允许一个客户端拥有的节点),并利用ZooKeeper的特性来确保每个时间只有一个客户端持有这个节点。

实现分布式锁的基本步骤

  1. 获取锁:客户端请求ZooKeeper创建临时顺序节点。
  2. 检查序号:客户端获取所有子节点并按序号排序。
  3. 判断锁拥有者:如果当前客户端的节点序号是最小的,表示获得锁;否则,监听次小节点,等待其删除。
  4. 释放锁:客户端释放节点(删除节点)。

代码示例(Java)

以下是使用 ZooKeeper 实现分布式锁的基本示例代码:

import org.apache.zookeeper.*;
import java.io.IOException;
import java.util.List;
import java.util.concurrent.CountDownLatch;

public class DistributedLock {

    private final static String ZOOKEEPER_ADDRESS = "localhost:2181";
    private final static String LOCK_PATH = "/myLock";
    private ZooKeeper zooKeeper;
    private String lockPath;
    private CountDownLatch countDownLatch;

    public DistributedLock() throws IOException, InterruptedException, KeeperException {
        this.zooKeeper = new ZooKeeper(ZOOKEEPER_ADDRESS, 3000, null);
        this.lockPath = zooKeeper.create(LOCK_PATH, new byte[0], ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
    }

    public void lock() throws InterruptedException, KeeperException {
        while (true) {
            List<String> children = zooKeeper.getChildren("/", false);
            children.sort(String::compareTo);

            int index = children.indexOf(lockPath.substring(1));
            if (index == 0) {
                return; // 当前客户端持有最小节点,获取锁成功
            }

            String watchNode = "/" + children.get(index - 1);
            final CountDownLatch latch = new CountDownLatch(1);

            Stat stat = zooKeeper.exists(watchNode, new Watcher() {
                @Override
                public void process(WatchedEvent watchedEvent) {
                    if (watchedEvent.getType() == Event.EventType.NodeDeleted) {
                        latch.countDown();
                    }
                }
            });

            if (stat != null) {
                latch.await(); // 等待次小节点删除事件
            }
        }
    }

    public void unlock() throws KeeperException, InterruptedException {
        zooKeeper.delete(lockPath, -1);
        zooKeeper.close();
    }

    public static void main(String[] args) throws IOException, InterruptedException, KeeperException {
        DistributedLock distributedLock = new DistributedLock();
        distributedLock.lock();

        // 执行业务逻辑

        distributedLock.unlock();
    }
}

避免死锁

  • 超时机制:为获取锁设置超时时间,超过指定时间仍未获得锁,则放弃获取锁。
  • 节点删除监听:监听次小节点的删除事件,避免死锁等待。

在分布式系统中实现分布式锁时,需要注意网络波动、ZooKeeper集群状态等因素,以确保锁的可靠性和稳定性。

6. 选举机制

        ZooKeeper使用ZAB(ZooKeeper Atomic Broadcast)协议实现分布式一致性,并在此基础上构建了领导者选举机制。在ZooKeeper中,节点可以是领导者(Leader)、追随者(Follower)或候选者(Candidate)。

选举机制基本流程

  1. 初始化:启动时所有节点都是候选者。
  2. 投票:每个候选者在一定时间内(选举超时时间)内向其他节点发送选举请求(投票请求),请求其他节点投票给自己。
  3. 投票结果:收到的第一个投票节点成为领导者,其他节点成为追随者。
  4. 心跳:领导者定期发送心跳以维持其地位,追随者则定期接收领导者的心跳。

选举代码示例

以下是一个基本的选举场景的代码示例,演示如何使用 ZooKeeper 实现领导者选举:

import org.apache.zookeeper.*;

public class LeaderElection implements Watcher {

    private ZooKeeper zooKeeper;
    private String zNode = "/election";
    private String currentZNode;

    public LeaderElection() throws Exception {
        this.zooKeeper = new ZooKeeper("localhost:2181", 3000, this);
    }

    public void findLeader() throws Exception {
        if (zooKeeper.exists(zNode, false) == null) {
            currentZNode = zooKeeper.create(zNode, new byte[0], ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
        }
        watchPreviousNode();
    }

    private void watchPreviousNode() throws Exception {
        String previous = null;
        for (String node : zooKeeper.getChildren(zNode, false)) {
            if (currentZNode.equals(zNode + "/" + node)) {
                break;
            }
            previous = node;
        }

        if (previous != null) {
            zooKeeper.exists(zNode + "/" + previous, this);
        }
    }

    @Override
    public void process(WatchedEvent event) {
        switch (event.getType()) {
            case NodeDeleted:
                try {
                    findLeader();
                } catch (Exception e) {
                    e.printStackTrace();
                }
                break;
        }
    }

    public static void main(String[] args) throws Exception {
        LeaderElection leaderElection = new LeaderElection();
        leaderElection.findLeader();

        // 等待选举结果
        Thread.sleep(Long.MAX_VALUE);
    }
}

此示例中的代码模拟了候选者通过创建临时顺序节点并监视前一个节点的变化来实现领导者选举的基本过程。

ZooKeeper的选举机制可以确保系统的领导者是唯一的,并且在节点出现故障或网络问题时能够快速重新选举新的领导者,从而保障了分布式系统的可用性和稳定性。

7. 实战案例

        在 Java 中使用 ZooKeeper 主要涉及到 ZooKeeper 的连接、会话管理、数据节点的创建、读取、更新和删除等操作。以下是使用 ZooKeeper 的基本步骤和示例代码:

引入 ZooKeeper 客户端依赖

在 Maven 项目中,需要在 pom.xml 文件中引入 ZooKeeper 客户端依赖

<dependency>
    <groupId>org.apache.zookeeper</groupId>
    <artifactId>zookeeper</artifactId>
    <version>3.7.0</version> <!-- 版本号根据需求进行更改 -->
</dependency>

创建 ZooKeeper 连接

import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.WatchedEvent;

public class ZooKeeperExample {

    private static final String ZOOKEEPER_HOST = "localhost:2181"; // ZooKeeper服务器地址和端口号
    private static final int SESSION_TIMEOUT = 5000; // 会话超时时间

    public static void main(String[] args) throws Exception {
        ZooKeeper zooKeeper = new ZooKeeper(ZOOKEEPER_HOST, SESSION_TIMEOUT, new Watcher() {
            @Override
            public void process(WatchedEvent event) {
                // 处理 ZooKeeper 事件
                System.out.println("Received event: " + event);
            }
        });

        // 等待连接成功
        while (zooKeeper.getState() != ZooKeeper.States.CONNECTED) {
            Thread.sleep(1000);
        }

        // 连接成功后的操作
        System.out.println("Connected to ZooKeeper");
        
        // 进行节点操作等其他业务逻辑
        // 例如:创建节点、读取节点、更新节点、删除节点等操作

        // 关闭 ZooKeeper 连接
        zooKeeper.close();
    }
}

进行节点操作

以下是节点的基本操作示例:

  • 创建节点:
// 创建一个持久节点
String path = "/testNode";
byte[] data = "Hello, ZooKeeper!".getBytes();
zooKeeper.create(path, data, ZooDefs.Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
  • 读取节点:
// 读取节点数据
Stat stat = new Stat();
byte[] nodeData = zooKeeper.getData("/testNode", false, stat);
System.out.println("Node data: " + new String(nodeData));
  • 更新节点:
// 更新节点数据
String newData = "Updated data";
zooKeeper.setData("/testNode", newData.getBytes(), stat.getVersion());
  • 删除节点:
// 删除节点
zooKeeper.delete("/testNode", stat.getVersion());

注意事项

  • 在实际使用中,请根据需求处理异常、关闭连接等情况。
  • 使用 Watcher 监听 ZooKeeper 节点的变化。
  • 请注意 ZooKeeper 的一致性、可用性和分区容错性等特性。

以上代码示例仅为基础操作,实际应用中可能会涉及更多复杂的场景和功能。后面有时间会再跟大家分享一下Zookeeper选举Leader源码分析的内容

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/266636.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

SpringMVC:整合 SSM 上篇

文章目录 SpringMVC - 03整合 SSM 上篇一、准备工作二、MyBatis 层1. dao 层2. service 层 三、Spring 层四、SpringMVC 层五、执行六、说明 SpringMVC - 03 整合 SSM 上篇 用到的环境&#xff1a; IDEA 2019&#xff08;JDK 1.8&#xff09;MySQL 8.0.31Tomcat 8.5.85Maven…

OpenCV利用HSV颜色区间分离不同物体

需求 当前有个需求是从一个场景中将三个不同的颜色的二维码分离出来&#xff0c;如下图所示。 这里有两个思路可以使用 思路一是通过深度学习的方式&#xff0c;训练一个能够识别旋转边界框的模型&#xff0c;但是需要大量的数据进行模型训练&#xff0c;此处缺少训练数据&a…

WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER.

Hadoop启动时警告&#xff0c;但不影响使用&#xff0c;强迫症的我还是决定寻找解决办法 WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER.原因是Hadoop安装配置于root用户下&#xff0c;对文件需要进…

智能优化算法应用:基于金枪鱼群算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用&#xff1a;基于金枪鱼群算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用&#xff1a;基于金枪鱼群算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.金枪鱼群算法4.实验参数设定5.算法结果6.…

深度学习(八):bert理解之transformer

1.主要结构 transformer 是一种深度学习模型&#xff0c;主要用于处理序列数据&#xff0c;如自然语言处理任务。它在 2017 年由 Vaswani 等人在论文 “Attention is All You Need” 中提出。 Transformer 的主要特点是它完全放弃了传统的循环神经网络&#xff08;RNN&#x…

PHP函数定义和分类

函数的含义和定义格式 在PHP中&#xff0c;允许程序员将常用的流程或者变量等组件组织成一个固定的格式实现特定功能&#xff0c;也就是说函数是具有特定功能特定格式的代码段。 函数的定义格式如下&#xff1a; function 函数名(参数1&#xff0c;参数2&#xff0c;参数n) {…

适配器模式学习

适配器模式&#xff08;Adapter&#xff09;将一个类的接口转换成客户希望的另外一个接口。Adapter 模式使得原本由于接口不兼容而不能一起工作的那些类可以一起工作。 适配器模式分为类适配器模式和对象适配器模式两种&#xff0c;前者类之间的耦合度比后者高&#xff0c;且要…

【高数定积分求解旋转体体积】 —— (上)高等数学|定积分|柱壳法|学习技巧

&#x1f308;个人主页: Aileen_0v0 &#x1f525;热门专栏: 华为鸿蒙系统学习|计算机网络|数据结构与算法 &#x1f4ab;个人格言:"没有罗马,那就自己创造罗马~" 目录 Shell method Setting up the Integral 例题 Example 1: Example 2: Example 3: Computing…

RasaGPT对话系统的工作原理

RasaGPT 结合了 Rasa 和 Langchain 这 2 个开源项目&#xff0c;当超出 Rasa 现有意图(out_of_scope)的时候&#xff0c;就会执行 ActionGPTFallback&#xff0c;本质上就是利用 Langchain 做了一个 RAG&#xff0c;调用 LLM API。RasaGPT 涉及的技术栈比较多而复杂&#xff0c…

如何更好地理解和掌握 KMP 算法?

KMP算法是一种字符串匹配算法&#xff0c;可以在 O(nm) 的时间复杂度内实现两个字符串的匹配。本文将引导您学习KMP算法&#xff0c;阅读大约需要30分钟。 1、字符串匹配问题 所谓字符串匹配&#xff0c;是这样一种问题&#xff1a;“字符串 P 是否为字符串 S 的子串&#xf…

springcloud-gateway-2-鉴权

目录 一、跨域安全设置 二、GlobalFilter实现全局的过滤与拦截。 三、GatewayFilter单个服务过滤器 1、原理-官方内置过滤器 2、自定义过滤器-TokenAuthGatewayFilterFactory 3、完善TokenAuthGatewayFilterFactory的功能 4、每一个服务编写一个或多个过滤器&#xff0c…

Opencv中的滤波器

一副图像通过滤波器得到另一张图像&#xff0c;其中滤波器又称为卷积核&#xff0c;滤波的过程称之为卷积。 这就是一个卷积的过程&#xff0c;通过一个卷积核得到另一张图片&#xff0c;明显发现新的到的图片边缘部分更加清晰了&#xff08;锐化&#xff09;。 上图就是一个卷…

pycharm修改项目文件夹名称

目录 1 修改项目文件夹名称 2 修改代码中的项目名称 1 修改项目文件夹名称 选中项目文件夹&#xff0c;右键&#xff0c;选择refactor-rename。 选择rename project&#xff1a; 然后输入新的项目名称。 此时进入资源管理器&#xff0c;修改项目文件夹的名字&#xff0c;完成…

LangChain 31 模块复用Prompt templates 提示词模板

LangChain系列文章 LangChain 实现给动物取名字&#xff0c;LangChain 2模块化prompt template并用streamlit生成网站 实现给动物取名字LangChain 3使用Agent访问Wikipedia和llm-math计算狗的平均年龄LangChain 4用向量数据库Faiss存储&#xff0c;读取YouTube的视频文本搜索I…

AWD认识和赛前准备

AWD介绍 AWD: Attack With Defence, 北赛中每个队伍维护多台服务器&#xff0c;服务器中存在多个漏洞&#xff0c;利 用漏洞攻击其他队伍可以进行得分,修复漏洞可以避免被其他队伍攻击失分。 一般分配Web服务器&#xff0c;服务器(多数为Linux)某处存在flag(一般在根目录下)&am…

HackTheBox - Medium - Linux - Format

Format Format 是一种中等难度的 Linux 机器&#xff0c;它突出显示了由解决方案的结构方式引起的安全问题。立足点涉及PHP源代码审查&#xff0c;发现和利用本地文件读/写漏洞&#xff0c;并利用Nginx中的错误配置在Redis Unix套接字上执行命令。横向移动包括浏览 Redis 数据…

爬虫工作量由小到大的思维转变---<第二十二章 Scrapy开始很快,越来越慢(诊断篇)>

前言: 相信很多朋友在scrapy跑起来看到速度200/min开心的不得了;可是,越跑到后面,发现速度变成了10-/min;刚开始以为是ip代理的问题,结果根本不得法门... 新手跑3000 ~ 5000左右数据,我相信大多数人没有问题,也不会发现问题; 可一旦数据量上了10W,你是不是就能明显感觉到速度…

力扣(leetcode)1148和1179题(MySQL)

1148.文章浏览I 题目链接&#xff1a;1148.文章浏览I 解答 # Write your MySQL query statement below select distinct author_id as id from Views where author_idviewer_id order by id;1179.重新格式化部门表 题目链接&#xff1a;1179.重新格式化部门表 解答 …

[python]用python实现对arxml文件的操作

目录 关键词平台说明一、背景二、方法2.1 库2.2 code 关键词 python、excel、DBC、openpyxl 平台说明 项目Valuepython版本3.6 一、背景 有时候需要批量处理arxml文件(ARXML 文件符合 AUTOSAR 4.0 标准)&#xff0c;但是工作量太大&#xff0c;阔以考虑用python。 二、方…

【经典LeetCode算法题目专栏分类】【第11期】递归问题:字母大小写全排列、括号生成

《博主简介》 小伙伴们好&#xff0c;我是阿旭。专注于人工智能AI、python、计算机视觉相关分享研究。 ✌更多学习资源&#xff0c;可关注公-仲-hao:【阿旭算法与机器学习】&#xff0c;共同学习交流~ &#x1f44d;感谢小伙伴们点赞、关注&#xff01; 《------往期经典推荐--…