分布式与一致性协议之ZAB协议(七)

ZAB协议

ZAB协议:如何处理读写请求

你应该有这样的体会，如果你想了解一个网络服务，执行的第一个功能肯定是写操作，然后才会执行读操作。比如，你要了解ZooKeeper，那么肯定会在zkClient.sh命令行中执行写操作(比如create /geekbang 123)写入数据，然后再执行读操作(比如get /geekbang)查询数据。这样一来，你才会直观地理解ZooKeeper的使用方法。

在我看来，任何网络服务最重要的功能就是处理读写请求，因为我们访问网络服务的本质就是执行读写操作，ZooKeeper也不例外，对ZooKeeper而言，这些功能更重要，因为如何处理写请求关乎着操作的顺序性，会影响节点的创建；而如何处理读请求关乎着一致性，也影响着客户端是否会读到旧数据。

接下来，会从ZooKeeper系统的角度全面地分析整个读写请求的流程，帮助你更加全面、透彻地理解读写请求背后的原理。
我们都知道，在ZooKeeper中，写请求必须在领导者上处理，如果跟随者接收到写请求，则需要将写请求转发给领导者，当写请求对应的提案被复制到大多数节点上时，领导者会提交提案，并通知跟随者提交提案。而读请求可以在任何节点上处理，也就是说，ZooKeeper实现的是最终一致性。

所以，理解了如何处理读写请求，不仅能理解读写这个最重要功能的核心原理，还能更好地理解ZooKeeper的性能和一致性。这样在实际场景中安装部署ZooKeeper的时候，就能游刃有余地做资源规划了。比如，如果度请求比较多，可以增加节点，如配置5节点集群，而不是常见的3节点集群。

ZooKeeper处理读写请求的原理。

其实前面已经演示"如何实现操作顺序性"时旧已经介绍了ZooKeeper处理读写请求的原理。这里不再赘述，只在前面的基础上补充几点。
首先，在ZooKeeper中，与领导者"失联"的节点是不能处理读写请求的。比如，如果一个跟随者与领导者的连接发生了读超时，那么它会将自己的状态设置为LOOKING,那么此时它既不能转发写请求给领导者处理，也不能处理读请求，只有当它"找到"领导者后，才能处理读写请求.

例子
  • 举个例子,某集群发生分区故障，节点C与节点A(领导者)、节点B断联，那么节点C将设置自己的状态为LOOKING，此时节点C既不能执行读操作，也不能执行写操作。如图所示，在这里插入图片描述
    其次，当大多数节点进入广播阶段后，领导者才能提交提案，因为提案提交需要来自大多数节点的确认。最后写请求只能在领导者节点上处理，所以ZooKeeper集群写性能约等于单机。而读请求可以在所有的节点上处理，所以，读性能是水平扩展的。也就是说，你可以通过分集群的方式来突破写性能的限制，并通过增加更加节点来扩展集群的读性能。

ZooKeeper处理读写请求的代码实现

ZooKeeper处理读写请求的具体流程分析如下。

如何实现写操作

在ZooKeeper代码中，处理写请求的核心流程如图所示。这里我用跟随者接收到写请求的情况演示一下。
在这里插入图片描述

  • 1.跟随者在FollowerRequestProcessor.processRequest()中接收到写请求。具体来说，写请求是系统在ZooKeeperServer.submitRequestNow()中发给跟随者的，如代码所示
firstProcessor.processRequest(si)

而firstProcessor是在FollowerZooKeeperServer.setupRequestProcessors()中创建的，如代码所示

protected void setupRequestProcessors() {
// 创建finalProcessor,提交提案或响应查询
RequestProcessor finalProcessor = new FinalRequestProcessor(this);
// 创建commitProcessor,处理提案提交或读请求
comitProcessor = new CommitProcessor(finalProcessor, Long.toString(getServerId()), true, getZooKeeperServerListener());
commitProcessor.start();
// 创建firstProcessor，接收发给跟随者的请求
firstProcessor = new FollowerRequestProcessor(this,commitProcessor);

((FollowerRequest)firstProcessor).start();
// 创建syncProcessor,将提案持久化存储，并返回确认响应给领导者
syncProcessor = new SyncRequestProcessor(this, new SendAckRequestProcessor(getFollower()));
syncProcessor.start();
}

需要注意的是，跟随者节点和领导者节点的firstProcessor是不同的，这样firstProcessor在ZooKeeperServer.submitRequestNow()中被调用时，就分别进入了跟随者和领导者的代码流程。另外，setupRequestProcessors()创建了两条处理链，如图所示。在这里插入图片描述

  • 2.跟随者在FollowerRequestProcessor.run()中将写请求转发给领导者，如代码所示
// 调用learner.request() 将请求发送给领导者
zks.getFollower().request(request);
  • 3.领导者在LeaderRequestProcessor.processRequest()中接收写请求，并最终调用pRequest()创建事务(也就是提案)并持久化存储，如代码所示
// 创建事务
pRequest2Txn(request.type, zks.getNextZxid(), request, create2Request, true);
......
// 分配事务标识符
request.zxid = zks.getZxid();
// 调用ProposalRequestProcessor.processRequest()处理写请求，并将事务持久化存储
nextProcessor.processRequest(request);

需要注意的是，写请求也是在ZooKeeperServer.submitRequestNow()中发给领导者的，如代码所示

firstProcessor.processRequest(si)

而firstProcessor是在LeaderZooKeeperServer.setupRequestProcessors()中创建的，如代码所所示:

protected void setupRequestProcessors() {
// 创建finalProcessor,最终提交提案和响应查询
RequestProcessor finalProcessor = new FinalRequestProcessor(this);
// 创建toBeAppliedProcessor,存储可提交的提案，并在提交提案后从toBeApplied队列移除已提交的提案
RequestProcessor toBeAppliedProcessor = new Leader.ToBeAppliedRequestProcessor(finalProcessor, getLeader());
// 创建commitProcessor,处理提案提交或读请求
commitProcessor = new COmmitProcessor(toBeAppliedProcessor, Long.toString(getServerId()),false, getZooKeeperServerListener());
commitProcessor.start();
// 创建proposalProcessor，按照顺序广播提案给跟随者
ProposalRequestProcessor proposalProcessor = new ProposalRequestProcessor(this, commitProcessor);
proposalProcessor.initialize();
// 创建preRequestProcessor,根据请求创建提案
preRequestProcessor = new PreRequestProcessor(this, proposalProcessor);
preRequestProcessor.start();
// 创建firstProcessor,接收发给领导者的请求
firstProcessor = new LeaderRequestProcess(this, preRequestProcessor);
...
}

需要注意的是，与跟随者类似，setupRequestProcessor()也为领导者创建了两条处理链(其中处理链2是在创建proposalRequestProcessor时创建的)，如图所示.其中，处理链1是核心处理链，最终实现写请求处理(创建提案、广播提案、提交提案)和读请求对应的数据响应。处理链2实现提案持久化存储，并返回确认响应给领导者自己在这里插入图片描述

  • 4.领导者在ProposalRequestProcessor.processRequest()中调用propose()将提案广播给集群所有节点，如代码所示:
zks.getLeader().propose(request);
  • 5.跟随者在Follower.processPacket()中接收到提案，持久化存储，并返回确认响应给领导者，如代码所示
fzk.logRequest(hdr, txn, digest);
  • 6.领导者在接收到大多数节点的确认响应(Leader.processAck())后，最终在CommitProcessor.tryToCommit()提交提案，并广播COMMIT消息给跟随者，如代码所示
// 通知跟随者提交
commit(zxid);
// 自己提交
zk.commitProcessor.commit(p.request);
  • 7.跟随者接收到COMMIT消息后，在FollowerZooKeeperServer.commit()中提交提案，如果最初的写请求是自己接收到的，则返回成功响应给客户端，如代码所示
// 必须顺序提交
long firstElementZxid = pendingTxns.element().zxid;
if (firstElementZxid != zxid) {
LOG.error("Commiting zxid 0x" + Long.toHexString(zxid) + "but next pending txn 0x" + Long.toHexString(firstElementZxid));
ServiceUtils.requestSystemExit(ExitCode.UNMATCHED_TXN_COMMIT.getValue());
}

// 将准备提交的提案从pendingTxns队列移除
Request request = pendingTxns.remove();
request.logLatency(ServiceMetrics.getMetrics().COMMIT_PROPAGRATION_LATENCY);
// 最终调用FinalRequestProcessor.processRequest() 提交提案，如果最初的写请求是自己接收到的，则返回成功响应给客户端
commitProcessor.commit(request);

这样，ZooKeeper就完成了写请求的处理。需要特别注意的是，在分布式系统中，消息或者核心消息的持久化存储很关键，也很重要，因为这是保证集群稳定运行的关键。当然数据写入最终还是为了后续的数据读取，那么ZooKeeper是如何实现读操作的呢？

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/606233.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

SAP PP学习笔记09 - 作业区（工作中心Work Center）Customize2（管理码，班次顺序，计算式），标准Text，作业区阶层

SAP PP学习笔记09 - 作业区（工作中心Work Center）Customize2（管理码，班次顺序，计算式），标准Text，作业区阶层

上文讲了作业区（工作中心）的概念及其中重要字段，以及作业区的部分Customize。 SAP PP学习笔记08 - 作业区（工作中心Work Center），作业区Customize-CSDN博客 本文继续讲 作业区的Customize。 Spro > 生…
阅读更多...
杨氏矩阵查找算法

杨氏矩阵查找算法

有一个数字矩阵，矩阵的每行从左到右是递增的，矩阵从上到下是递增的，请编写程序在这样的矩阵中查找某个数字是否存在。 要求：时间复杂度小于O(N); 1.首先更直观地了解一下杨氏矩阵： 123456789 这就是一个简单的杨氏矩…
阅读更多...
【Java】初识网络编程

【Java】初识网络编程

文章目录 前言✍一、互联网的发展1.独立模式2.网络的出现局域网LAN广域网WAN ✍二、网络编程概述✍三、网络编程中的术语介绍IP地址端口号协议OSI七层模型TCP\IP四层模型 ✍四、协议的层级之间是如何配合工作的 前言 在本文中，会对网络编程的一些术语进行解释&#…
阅读更多...
MySQL变量的声明与使用

MySQL变量的声明与使用

set userName 刘德华; SELECT userName : 刘青云; SELECT userName as 读取到的userName变量值; set x5,y7; SELECT x y as 57的结果; set dx0.55,dy2; SELECT dx dy; set result(select dx dy) SELECT result; set cityName1Kabul; SET cityName2Qandahar; SET cityName3…
阅读更多...
【Qt 开发基础体系】字符串类应用和常用的数据类型

【Qt 开发基础体系】字符串类应用和常用的数据类型

文章目录 1. Qt 字符串类应用1.1 操作字符串1.2 QString::append()函数1.3 QString::sprintf()函数1.4 QString::arg()函数 2. 查询字符串2.1 函数 QString::startsWith()2.2 函数 QString::contains()2.3 函数 QString::toInt()2.4 函数 QString::compare()2.5 将 QString 转换…
阅读更多...
RS232引脚方向及意义与接线参考

RS232引脚方向及意义与接线参考

RS232引脚方向及定义编号引脚意义方向作为IO使用说明1CD载波检测(Carrier Detect)计算机《调制解调器输入调制解调器通知计算机有载波被侦测到2RXD接收(Receive)计算机《调制解调器　接收数据3TXD发送(Transmit)计算机》调制解调器　发送数据4DTR数据终端设备(DTE)备好(Data Te…
阅读更多...
揭秘豆瓣网站爬虫：利用lua-resty-request库获取图片链接

揭秘豆瓣网站爬虫：利用lua-resty-request库获取图片链接

介绍 在网络数据采集领域，爬虫技术在图片获取方面具有广泛的应用。而豆瓣网站作为一个内容丰富的综合性平台，其图片资源也是广受关注的热点之一。本文将聚焦于如何利用Lua语言中的lua-resty-request库，高效地从豆瓣网站获取图片链接。我们将…
阅读更多...
RAG 检索的底座：Milvus Cloud向量数据库

RAG 检索的底座：Milvus Cloud向量数据库

在业界实践中，RAG 检索通常与向量数据库密切结合，也催生了基于 ChatGPT + Vector Database + Prompt 的 RAG 解决方案，简称为 CVP 技术栈。这一解决方案依赖于向量数据库高效检索相关信息以增强大型语言模型（LLMs），通过将 LLMs 生成的查询转换为向量，使得 RAG 系统能在向…
阅读更多...
MAcA-PEG-MAcA，Methacrylamide-PEG-Methacrylamide可作为高分子链转移剂或高分子乳化剂使用

MAcA-PEG-MAcA，Methacrylamide-PEG-Methacrylamide可作为高分子链转移剂或高分子乳化剂使用

【试剂详情】 英文名称 MAcA-PEG-MAcA， Methacrylamide-PEG-Methacrylamide 中文名称 聚乙二醇二苯甲醛， 苯甲醛-聚乙二醇-苯甲醛 外观性状 由分子量决定，固体或者液体。 分子量 0.4k，0.6k，1k，2k&am…
阅读更多...
发电机组远程管理，提升管控力，降低运维成本

发电机组远程管理，提升管控力，降低运维成本

发电机组是指发电机发动机以及控制系统的总称，用来把发动机提供的动能转化为电能。它通常由动力系统、控制系统、消音系统、减震系统、排气系统组成。发电机组远程管理系统利用物联网技术与PLC远程控制模块集成解决方案，在提高发电机组的运行效率、降低运…
阅读更多...
用于YouTube推荐的深度神经网络YouTube DNN

用于YouTube推荐的深度神经网络YouTube DNN

这篇论文是最近参加组会看的一篇新论文，论文虽然是2016年出的论文，但是它是YouTube发表的，且是应用在YouTube这样超级大的平台上的一篇工业界的推荐系统的论文，我读完之后也觉得论文有一些可取之处的，所以和大家分享一…
阅读更多...
【Chrome实用命令笔记】

【Chrome实用命令笔记】

文章目录 Chrome实用命令笔记1、chrome基本介绍2. 打开开发者工具（DevTools）方法一：快捷键方法二：右键菜单方法三：浏览器设置 2. 开发者工具面板Elements面板Console面板Sources面板Network面板Performance面板Memory面…
阅读更多...
数据结构：图

数据结构：图

数据结构：图 前言 在自动化程序分析中，图和树的一些算法起到了至关重要的作用，所以在开始自动化程序分析的研究前，我用了两天复习了一遍数据结构中的图。本章主要内容有图的基本概念，图的存储和图相关的经典算法&…
阅读更多...
十二届蓝桥杯Python组1月中/高级试题 第五题

十二届蓝桥杯Python组1月中/高级试题 第五题

** 十二届蓝桥杯Python组1月中/高级试题 第五题 ** 第五题（难度系数 5，35 个计分点） 提示信息： 平均数：是指在一组数据中所有数据之和再除以这组数据的个数。 如：“1，2，3&#xf…
阅读更多...
品鉴中的文化碰撞：如何理解和欣赏不同文化背景下的红酒

品鉴中的文化碰撞：如何理解和欣赏不同文化背景下的红酒

红酒作为世界各地广泛生产的产品，具有丰富的文化内涵。不同国家、地区和民族的红酒文化各具特色，反映了当地的历史、传统、习俗和生活方式。在品鉴云仓酒庄雷盛红酒时，理解和欣赏不同文化背景下的红酒是提升品鉴体验的重要一环。 首先&#x…
阅读更多...
目前市面上堡垒机厂家有哪些？会帮忙部署吗？

目前市面上堡垒机厂家有哪些？会帮忙部署吗？

随着大家对于网络安全的重视，越来越多的企业准备采购堡垒机了。不少企业在问，目前市面上堡垒机厂家有哪些？会帮忙部署吗？这里我们小编就来简单为大家回答一下，仅供参考哈！ 目前市面上堡垒机厂家有哪些&…
阅读更多...
idea开发工具 项目使用Spring框架开发解决yml配置文件不识别问题，解决方案教程

idea开发工具 项目使用Spring框架开发解决yml配置文件不识别问题，解决方案教程

文章目录 目录 文章目录 安装流程 小结 概要安装流程技术细节小结 概要 问题点，配置文件不识别 解决流程 添加出来的yml配置文件，点击🆗 问题已解决 如果问题没有解决的话，第二种方法 这是识别成功的 技术细节 项目重构Maven环境…
阅读更多...
libmodbus使用

libmodbus使用

安装可以看这个博客&#xff1a; https://blog.csdn.net/hanhui22/article/details/105786762 它的安装可以&#xff0c;但是编译测试看不太懂&#xff0c;我没跟着它的编译&#xff0c;完了后把/lib下的 放到开发板的/usr/lib下 编写代码: #include <stdio.h> #inclu…
阅读更多...
VS 编译动态链接库dll及其动态链接库的调用方式

VS 编译动态链接库dll及其动态链接库的调用方式

VS 编译动态链接库及其动态链接库的调用方式 1编译动态链接库 (1)Step01: 打开VS (2)Step02: 新建项目 (3)Step03: 选择动态链接库&#xff08;搜索DLL&#xff09; (4)Step04: 新建头文件&#xff08;如MyDLL.h) 该文件编写对外暴露的接口函数&#xff0c;即在该函数内声…
阅读更多...
deepspeed入门

deepspeed入门

一、目录 deepspeed 简介库安装配置deepspeed 实现demo如何配置deepspeed参数案例分析 二、实现 deepspeed 简介 Deepspeed是微软的大规模分布式训练工具。专门用于训练超大模型。主要目标是降低训练期间的内存占用、通信开销和计算负载&#xff0c;从而使用户能够训练更大的…
阅读更多...
最新文章

Copyright @ 2022~2023