Redis—图文详解高可用原因

本文不会讲解Redis的用途,关于用途会发另一片文章讲解,本文主要讲的是高可用的原理。

Redis高可用主要有以下三个原因:主从模式(上一篇讲Kafka的文章里有涉及到),哨兵模式,Redis-Cluster(Redis集群)

什么是主从模式?

主从模式中,数据库分为两类,一类主数据库,一类从数据库,主数据库可以进行读写操作,从数据库只能进行读操作,当主数据库发生变化时会自动同步到从数据库上。这样可以实现读写分离和容灾恢复。

全量复制和增量复制

全量复制就是主从数据库第一次链接的时候进行数据同步,从库要复制主库的全部数据,所以叫全量复制,后面只需要同步新的数据,就是增量复制。

如果从库的实例过多,主库复制同步到子库就会有压力怎么办?

可以采用如下图所示的“主-从-从”模式来处理

当一个从库已经完成和主库的同步后,主库可以选择它来进行其他从库的同步。

这样副本的一致性就得到了保障了。 

那主库万一挂了怎么办呢?

这时候就要依靠哨兵模式,什么是哨兵模式?

哨兵模式是实现主从库自动切换的关键机制,它主要负责三个任务:监控、选择主库、通知和完成主从切换操作

  • 监控。哨兵在运行时,周期性地给所有的主从库发送PING命令,检测是否仍在运行。如果从库没有响应哨兵的PING命令,哨兵就会将它标记为下线状态;如果主库没有在规定时间内响应哨兵的PING命令,哨兵也会判断主库下限,然后开始自动切换主库的流程。

  • 选主。主库挂了之后,哨兵需要按照一定的规则选择一个从库,并将他作为新的主库。

  • 通知和完成主从切换。选取了新的主库后,哨兵会把新主库的连接信息发给其他从库,让它们执行replicaof命令和新主库建立连接,并进行数据复制;同时哨兵也会将新主库的消息发给客户端。

不过这样也会有一个问题,哨兵判断主从库下限失误怎么办呢?

对于从库来说,影响不大,但是对主库来说就麻烦多了,这时候就要用到去中心化的思想,一个哨兵不行,那就多几个哨兵不就行了,做一个哨兵集群,当一个哨兵判断出主库下线,就引入多个哨兵实例进行判断,如果大多数都认为主库下线,主库就会标记为“客观下线”。(比如10个人,有过半数,也就是6个人同意就OK)。

那么主库下线后怎么选取新的主库?

这就要通过哨兵机制进行筛选和打分了。

  • 筛选的要求。首先从库一定是正在运行的,还要判断从库之前的网络连接状态,如果总是断连并且超过了一定的阈值,哨兵会认为该从库的网络不好,也会将其筛掉。

  • 打分的要求。哨兵机制根据三个规则依次进行打分:从库优先级、从库复制进度以及从库ID号;在某一轮有从库得分最高,那么它就是新的主库了,选主过程结束。如果该轮没有出现最高的,继续下一轮。

这样就可以选出新的主库了,那哪个哨兵来执行主从库切换呢?

这个流程和判断“客观下线类似”,也是一个投票的过程。

如果某个哨兵判断了主库为下线状态,就会给其他的哨兵实例发送is-master-down-by-addr的命令,其他实例会根据自己和主库的连接状态作出Y或N的响应,Y相当于赞成票,N为反对票。一个哨兵获得一定的票数后,就可以标记主库为“客观下线”,这个票数是由参数quorum设置的。如下图:

这个时候哨兵就可以给其他哨兵发送消息,表示希望自己来执行主从切换,并让所有的哨兵进行投票,这个过程称为“Leader选举”,进行主从切换的哨兵称为Leader。任何一个想成为Leader的哨兵都需要满足两个条件:

  • 拿到半数以上的哨兵赞成票。

  • 拿到的票数需要大于等于quorum的值。

然后就可以进行主从库切换啦。

那么当数据量过多的时候怎么处理呢,如果每个数据库都存着所有数据,每个副本都要存一份完整的数据,内存的开销就会很大,又该怎么处理呢?

Redis的切片集群可以解决这个问题,也就是启动多个Redis实例来组成一个集群,再按照一定的规则把数据划分为多份,每一份用一个实例来保存,这样客户端只需要访问对应的实例就可以获取数据。也就是Redis—Cluster架构了。

要实现这个架构面临两个主要问题:

  • 数据切片后,在多个实例之间怎么分布?

  • 客户端怎么确定想要访问的实例是哪一个?

Redis采用了Redis Cluster的方案来实现切片集群,具体的Redis Cluster采用了哈希槽(Hash Slot)来处理数据和实例之间的映射关系。在Redis Cluster中,一个切片集群共有16384个哈希槽(为什么Hash Slot的个数是16384),这些哈希槽类似于数据的分区,每个键值对都会根据自己的key被影射到一个哈希槽中,映射步骤如下:

  • 根据键值对key,按照CRC16算法计算一个16bit的值。

  • 用计算的值对16384取模,得到0~16383范围内的模数,每个模数对应一个哈希槽。

这时候可以得到一个key对应的哈希槽了,哈希槽又是如何找到对应的实例的呢?

在最开始客户端和集群实例建立连接后,实例就会把哈希槽的分配信息发给客户端,实例之间会把自己的哈希槽信息发给和它相连的实例,完成哈希槽的扩散。这样客户端访问任何一个实例的时候,都能获取所有的哈希槽信息。当客户端收到哈希槽的信息后会把哈希槽对应的信息缓存在本地,当客户端发送请求的时候,会先找到key对应的哈希槽,然后就可以给对应的实例发送请求了。

但是,哈希槽和实例的对应关系不是一成不变的,可能会存在新增或者删除的情况,这时候就需要重新分配哈希槽;也可能为了负载均衡,Redis需要把所有的实例重新分布。

虽然实例之间可以互相传递消息以获取最新的哈希槽分配信息,但是客户端无法感知这个变化,就会导致客户端访问的实例可能不是自己所需要的了。

Redis Cluster提供了重定向的机制,当客户端给实例发送数据读写操作的时候,如果这个实例上没有找到对应的数据,此时这个实例就会给客户端返回MOVED命令的相应结果,这个结果中包含了新实例的访问地址,此时客户端需要再给新实例发送操作命令以进行读写操作。(个人感觉这些Redis实例有点计算机网络中路由器的味道了,私底下通信,互相了解,客户端毫不知情,当去查询的时候找不到了,就类似DNS查询的味道了,开始迭代查询了,只能说计算机思想贯穿始终好吧,要多去理解和运用这些思想)

参考文章:

https://juejin.cn/post/7146465356482084878

https://juejin.cn/post/6963941240496717854?searchId=20240512211534A79024C96A5A6767CD62

https://juejin.cn/post/6936534060604850207?searchId=20240512211534A79024C96A5A6767CD62

本篇文章就到这里啦,非常感谢各位的阅读,喜欢的点个关注吧,下期更新锁的相关知识!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/619237.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

消息队列——Kafka

1、什么是消息队列,什么是Kafka? 我们通常说的消息队列,简称MQ(Message Queue),它其实就指消息中间件,比较流行的开源消息中间件有:Kafka、RabbitMQ、RocketMQ等。今天我们要介绍的…

基于yolov8+gradio目标检测演示系统设计

YOLOv8与Gradio:开启目标检测的可视化新篇章 随着人工智能技术的飞速发展,目标检测作为计算机视觉领域的重要分支,已经广泛应用于安防监控、自动驾驶、医疗影像等多个领域。而YOLO(You Only Look Once)系列算法作为目…

(七)SQL基础知识练习题(选择题)(上)#CDA学习打卡

本文整理了SQL基础知识相关的练习题,共133道,可作为CDA一级的补充习题,也适用于刚入门初级SQL想巩固基础的同学。来源:如荷学数据科学题库(技术专项-SQL)。暂时按照原题库顺序present,如有需要之…

网安面经之文件包含漏洞

一、文件包含漏洞 1、文件包含漏洞原理?危害?修复? 原理:开发⼈员⼀般希望代码更灵活,所以将被包含的⽂件设置为变量,⽤来进⾏动态调⽤,但是由于⽂件包含函数加载的参数没有经过过滤或者严格的…

巩固学习6

正则表达式 又称规则表达式,Regular Expression,在代码中常简写为regex、regexp或RE),是一种文本模式,包括普通字符(例如,a到z之间的字母)和特殊字符(称为“元字符”&…

基于Springboot的村庄果园预售系统(有报告)。Javaee项目,springboot项目。

演示视频: 基于Springboot的村庄果园预售系统(有报告)。Javaee项目,springboot项目。 项目介绍: 采用M(model)V(view)C(controller)三层体系结构…

全面了解 LLM 微调——根据应用场景独特需求定制大型语言模型

1.概述 截至2023年,大型语言模型(LLM)的发展确实在不断进步,涌现出了多种新的模型,如ChatGLM、Alpaca、Falcon以及Llama 2,还有GPT-4等。这些模型在自然语言处理领域展现出了强大的潜力,它们能…

vue3使用高德地图

一、获取高德地图key和秘钥 1、注册高德开放平台账号 #高德地图开放平台地址 https://lbs.amap.com/2、创建应用和key(选择web端) 二、安装vuemap/vue-amap库 库地址:https://vue-amap.guyixi.cn/zh-cn/introduction/install.html // 安装核心库 npm install vu…

Mybatis操作数据库的两种方式:Mapper代理模式

1.Mapper代理模式的特点 程序员没有写接口的子实现——直接获取数据库的数据 因为Mybatis定义了一套规则,对方法进行了实现,程序员只要遵循这套方法就可以直接使用 2.如何实现Mapper代理模式 步骤: 1.创建一个dao接口,在接口…

KAN神经网络简短介绍

KANs简介 Kolmogorov-Arnold Networks (KANs) 是一种创新的神经网络模型,它挑战了传统多层感知器(MLPs)的设计,通过将激活函数从节点转移到边上来提升模型的性能和可解释性。KAN的核心在于,其所有权重参数均被单变量的样条函数代替&#xff…

设计模式 六大原则之里氏替换原则

文章目录 概念替换逻辑行为不变 拆解小结 概念 子类对象能够替换程序中父类对象出现的任何地方,并且保证原来程序的逻辑行为不变及正确性不被破坏。 替换 替换的前提是面向对象语言所支持的多态特性,同一个行为具有多个不同表现形式或形态的能力。 逻…

Web3加密空投入门:空投类型有哪些?如何避免限制?

今天分享空投如何避免限制以提高效率,增加成功几率,首先我们来了解什么是空投加密,有哪些空投类型。 一、什么是空投加密? 加密货币空投是一种营销策略,包括向用户的钱包地址发送免费的硬币或代币。 加密货币项目使用…

哈希表Hash table

哈希表是根据关键码的值而直接进行访问的数据结构。 数组就是⼀张哈希表。 哈希表中关键码就是数组的索引下标,然后通过下标直接访问数组中的元素,如下图所示: 那么哈希表能解决什么问题呢,一般哈希表都是用来快速判断⼀个元素是…

人脸消费给传统食堂带来的变化

消费的技术基础是脸部识别,脸部识别是基于人的容貌特征信息进行认证的生物特征识别技术,其突出的特征是以非接触方式进行识别,避免个人信息的泄露。 面部识别和指纹识别、掌纹识别、视网膜识别、骨骼识别、心率识别等都是人体生物特征识别技术…

STC8增强型单片机开发——串口调试UART

一、什么是串口 串口是一种在数据通讯中广泛使用的通讯接口,通常我们叫做UART (通用异步收发传输器Universal Asynchronous Receiver/Transmitter),其具有数据传输速度稳定、可靠性高、适用范围广等优点。在嵌入式系统中,串口常用于与外部设备…

IDEA安装使用Git

IDEA安装使用Git 1 Git下载与安装 2 在IDEA中使用Git 2.1 IDEA中配置Git 在IDEA中使用Git,本质上还是使用本地安装的Git软件,所以需要在IDEA中配置Git。 2.2 在IDEA中使用Git 2.2.1 获取Git仓库 在IDEA中使用Git获取仓库有两种方式: 本地初始化仓库从…

Java | Leetcode Java题解之第85题最大矩形

题目&#xff1a; 题解&#xff1a; class Solution {public int maximalRectangle(char[][] matrix) {int m matrix.length;if (m 0) {return 0;}int n matrix[0].length;int[][] left new int[m][n];for (int i 0; i < m; i) {for (int j 0; j < n; j) {if (mat…

Unity Material(材质)、Texture(纹理)、Shader(着色器)简介

文章目录 一、概念二、Rendering Mode三、Main Maps三、参考文章 一、概念 Material(材质)&#xff1a;物体的“色彩”、“纹理”、“光滑度”、“透明度”、“反射率”、“折射率”、“发光度”等&#xff0c;材质的本质是shader的实例(载体)Texture(贴图)&#xff1a;附件到…

【kali工具使用】Tcpdump 抓包查看三次握手过程

Tcpdump 抓包查看三次握手过程 tcpdump 常用参数&#xff1a; -c 指定要抓取的数据包数量 -n 对 IP 地址以数字方式显式&#xff0c;否则显式为主机名 port 指定端口 -I 指定 tcpdump 需要监听的接口。默认会抓取第一个网络接口 tcp 1ClientSYN1seqx 2Server SYN1 seq…

从 Oracle 到 TiDB,国有大行打造本地生活 APP 新体验

导读 本文介绍了某国有大行推出的本地生活服务类 APP 在数字时代的创新应用实践。该 APP 利用金融科技和互联网平台模式&#xff0c;打造“金融非金融”的线上生态服务平台&#xff0c;满足了用户多样化的生活需求。为应对用户增长和数据量增加带来的挑战&#xff0c;该 APP 决…