[Redis]哨兵机制

哨兵机制概念

在传统主从复制机制中,会存在一些问题:

1. 主节点发生故障时,进行主备切换的过程是复杂的,需要人工参与,导致故障恢复时间无法保障。

2. 主节点可以将读压力分散出去,但写压力/存储压力是无法被分担的,还是受到单机的限制。

哨兵机制就是为了解决第一个高可用问题的

当主节点出现故障时,哨兵机制能自动完成故障发现和故障转移,并通知应用方,从而实现真正的高可用。 哨兵机制是一个分布式架构,其中包含若干个redis哨兵节点和Redis数据节点,每个哨兵节点会对数据节点和其余Sentinel节点进行监控,当它发现节点不可达时,会对节点做下线标识。如果下线的是主节点,它还会和其他的哨兵节点进行“协商”,当大多数哨兵节点对主节点不可达这个结论达成共识之后,它们会在内部“选举”出一个领导节点来完成自动故障转移的工作,同时将这个变化实时通知给Redis应用方。整个过程是完全自动的,不需要人工介入。

 

 

环境规划

redis版本:5.0.9

我们将使用docker搭建redis哨兵环境

docker-compose 来进行容器编排

1)创建三个容器,作为redis的数据节点(主从结构,一主两从)

2)创建三个容器,作为redis的哨兵节点

目录结构:

搭建数据节点

docker-compose.yml是 Docker Compose 使用的配置文件,它定义了多个 Docker 容器的服务、网络和卷的配置。通过这个文件,你可以使用一条命令来批量启动多个docker容器

配置docker-compose.yml

version: '3.7'
services:
  master:
    image: 'redis:5.0.9'
    container_name: redis-master
    restart: always
    command: redis-server --appendonly yes
    ports: 
      - 6379:6379
  slave1:
    image: 'redis:5.0.9'
    container_name: redis-slave1
    restart: always
    command: redis-server --appendonly yes --slaveof redis-master 6379
    ports:
      - 6380:6379
  slave2:
    image: 'redis:5.0.9'
    container_name: redis-slave2
    restart: always
    command: redis-server --appendonly yes --slaveof redis-master 6379
    ports:
      - 6381:6379

version: '3.7'指定 Docker Compose 文件的版本。版本 3.7 支持更高级的功能和配置选项。

services:定义一组服务,每个服务对应一个容器。在这里,我们定义了三个服务,分别是主节点master和两个从节点slave。

image:指定要使用的镜像,这里是我们提前拉取的redis:5.0.9镜像

container_name: 指定容器的名称。这样,你可以通过这个名称来引用和管理容器。

restart: always:指定容器的重启策略。在这里配置为always,表示无论容器是因何原因退出,Docker 都会自动重启该容器。

command:设置启动命令,为主节点和从节点配置不同的命令

ports:映射主机端口到容器端口。前一个是主机端口,后一个是容器端口。就是说,在主机里这三个redis分别是6379,6380,6381端口,映射到各自容器的6379端口

启动docker compose配置的服务

在docker-compose.yml配置文件同级目录下使用命令:

sudo docker-compose up -d

 up表示构建、(重新)创建、启动并连接配置文件中定义的所有服务。如果某些服务已经在运行,up命令会重新启动它们。

-d表示 --detach 选项,它会将服务在后台运行。如果没有-d选项,服务将会在前台运行,并输出日志信息到当前终端窗口

 

如果启动后发现前面的配置有误,需要重新操作,使用 docker-compose down 即可停止并删除 刚才创建好的容器. 

 查看运行日志

同级目录下使用命令:

sudo docker-compose logs

 

 可以看见成功加载了三个容器

也可以使用命令:

sudo docker ps -a

显示容器的列表 

可以在最后一列看到名字分别是redis-slave1、redis-slave2、redis-master代表三个数据节点

搭建成功

验证

连接主节点

可以看到,主节点,有两个连接的从节点 

搭建哨兵节点

 (其实也可以把哨兵节点的yml配置文件和上面的配置文件写到一起,这里分成两组,主要是为了方便观察)

哨兵节点配置

放在redis-sentinel目录中,分别创建三个,内容完全相同

bind 0.0.0.0
port 26379
sentinel monitor redis-master redis-master 6379 2
sentinel down-after-milliseconds redis-master 1000

sentinel monitor表示监听的redis节点,第一个redis-master是给哨兵内部的名字,第二个是主节点ip,但是这里用的是docker,所以就写容器名,会自动DNS成对应的ip,6379表示端口,2表示票数,如果有哨兵节点觉得主节点挂了,那就投1票,当票数大于等于2时,就认为主节点真的挂了,就会启动后面的流程

sentinel down-after-milliseconds redis-master 1000主节点和哨兵之间通过心跳包来进行沟通.如果心跳包在指定的时间(1000ms)内还没回来,就视为是节点出现故障.

为什么要创建三个一样的文件,而不用同一个呢?

因为redis-sentinel 在运行中可能会对配置进行重写,修改文件内容.如果用一份文件,就可能出现修改 混乱的情况.

配置docker-compose.yml

version: '3.7'
services:
  sentinel1:
    image: 'redis:5.0.9'
    container_name: redis-sentinel-1
    restart: always
    command: redis-sentinel /etc/redis/sentinel.conf
    volumes:
      - ./sentinel1.conf:/etc/redis/sentinel.conf
    ports:
      - 26379:26379
  sentinel2:
    image: 'redis:5.0.9'
    container_name: redis-sentinel-2
    restart: always
    command: redis-sentinel /etc/redis/sentinel.conf
    volumes:
      - ./sentinel2.conf:/etc/redis/sentinel.conf
    ports:
      - 26380:26379
  sentinel3:
    image: 'redis:5.0.9'
    container_name: redis-sentinel-3
    restart: always
    command: redis-sentinel /etc/redis/sentinel.conf
    volumes:
      - ./sentinel3.conf:/etc/redis/sentinel.conf
    ports:
      - 26381:26379
networks:
  default:
    external:
      name: redis-data_default 

volume:配置挂载的卷,将主机上的文件或目录映射到容器内部。

networks:表示要加入的网络而不是创建新的网络,因为是两个配置文件,会启用两个局域网,为了让数据节点和哨兵节点互相认识并通信,所以要加入到一个网络中。

启动docker compose配置的服务

在docker-compose.yml配置文件同级目录下使用命令:

sudo docker-compose up -d

 

查看运行日志

同级目录下使用命令:

sudo docker-compose logs

 

可以发现正在监控主节点172.18.0.4 6379

验证哨兵机制

主节点挂掉

sudo docker stop redis-master 

 查看哨兵日志

 这里从sdown master redis-master 172.18.0.4 6379之前都是启动时的日志

后面是主节点挂了后的日志

sdown是主观下线,就是说这个节点主观认为主节点挂了(投一票)

odown是客观下线,就是说主节点客观挂了(票数超过设置)

表示票数达到3/2,超过规定, 认为主节点已经不能正常工作了,开启选取新的主节点的流程

表示选取172.18.0.3作为主节点代替172.18.0.4 

重启原来的主节点

sudo docker start redis-master

 

 这个节点变成从节点,并设置主节点为172.18.0.3

选取新主节点流程

主观下线

当redis-master 宕机,此时redis-master和三个哨兵之间的心跳包就没有了. 此时,站在三个哨兵的角度来看,redis-master出现严重故障。因此三个哨兵均会把redis-master判定为主观下线(SDown)

并投一票故障

客观下线

当故障得票数>=配置的法定票数之后,意味着redis-master故障这个事情被坐实了.此时触发客观下线(ODown)

选举出哨兵的leader

因为选取新主节点的工作不能让大家一起做,会乱套,所以现在需要在哨兵节点中选举出一个领导leader节点,来选举新主节点

这个选举的过程涉及到 Raft 算法

1.每个哨兵节点都给其他所有哨兵节点,发起一个"拉票请求"

2.收到拉票请求的节点,会回复一个"投票响应".响应的结果有两种可能,投or不投

如果已经发现主节点客观下线,需要选举leader,但是没有收到拉票请求,就会投给自己,然后向其他哨兵拉票。

如果哨兵收到多个拉票请求,会投票给收到第一个请求的哨兵。

 3.一轮投票完成之后,发现得票超过半数的节点,自动成为leader

如果平票,再投一次

把哨兵节点的个数设置为奇数,可以减小平票的可能,提高效率

leader哨兵选举新主节点

 leader 挑选出合适的slave成为新的 master

挑选规则:

1.比较优先级.优先级高(数值小的)的上位.优先级是redis配置文件中的配置项( slave-priority或replica-priority )

2.比较 replication offset 谁复制的数据多,高的上位

3.比较 run id ,谁的id小,谁上位.

选举后

当某个slave节点被指定为master之后,

1. leader 指定该节点执行 slave no one ,成为master

2. leader 指定剩余的slave节点,都依附于这个新master

注意事项

• 哨兵节点不能只有一个,否则哨兵节点挂了也会影响系统可用性.

• 哨兵节点最好是奇数个,方便选举leader,得票更容易超过半数.

• 哨兵节点不负责存储数据,仍然是redis主从节点负责存储.

• 哨兵+主从复制解决的问题是"提高可用性",不能解决"数据极端情况下写丢失"的问题.

• 哨兵+主从复制不能提高数据的存储容量,当我们需要存的数据接近或者超过机器的物理内存,这样的结构就难以胜任了。

为了能存储更多的数据,就引入了集群.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/773728.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

直击园区消防管理现状,智慧消防相比传统消防管理的优势是什么

一、工业园区消防管理现状 1、消防信息智能化程度低 信息化手段落后,现场的数据信息无法即时传送至指挥中心,突发事件发生时,无法扁平化指挥到基层现场,应急处置能力不足。 2、防控体系不健全 存在监测盲点,火灾报警…

Mybatis实现RBAC权限模型查询

RBAC权限模型 Role-Based Access Control,中文意思是:基于角色(Role)的访问控制。这是一种广泛应用于计算机系统和网络安全领域的访问控制模型。 简单来说,就是通过将权限分配给➡角色,再将角色分配给➡用…

ABB机器人坐标系偏移指令

ABB机器人在坐标系中偏移用到的指令有:Offs和RelTool。Offs用在工件坐标系中偏移,而RelTool是在工具坐标系中偏移。 一、Offs用于在一个机械臂位置的工件坐标系中添加一个偏移量。 Offs (Point ,XOffset, YOffset ,Z…

【UE5.1】Chaos物理系统基础——05 蓝图绑定Chaos破裂或碰撞事件

步骤 1. 新建一个父类为Actor的蓝图,这里命名为“BP_ChaosExplosionEvent” 打开“BP_ChaosExplosionEvent”,添加一个变量,这里命名为“GC”,变量类型为“几何体集actor”,设置为可编辑实例 在事件图表中添加如下节点…

Unity休闲手机游戏开发课程

课程介绍 Unity休闲手机游戏开发课程将教您如何利用Unity游戏引擎创建令人愉快的休闲手机游戏。从基础的游戏开发知识到高级的游戏制作技巧,您将学习到创建各种类型的休闲游戏所需的关键技能和工具。无论您是初学者还是有一定经验的开发者,本课程都能帮助…

基于JavaScript、puppeteer的爬虫

前期准备: npm puppeteer import puppeteer from puppeteer; puppeteer文档 第一步:启动浏览器,跳转到需要爬取的页面 const browser await puppeteer.launch({ headless: false });const page await browser.newPage();await page.goto(url, { w…

ssm高校宿舍用电管理系统-计算机毕业设计源码97859

摘要 随着高校规模的扩大和学生数量的增加,高校宿舍的用电需求也日益庞大。为了提高用电效率、节约能源、确保用电安全和方便管理,开发一个高校宿舍用电管理系统具有重要意义。本系统将采用Java作为后端开发语言,具备跨平台特性,能…

收银系统源码-营销活动-幸运抽奖

1. 功能描述 营运抽奖:智慧新零售收银系统,线上商城营销插件,商户/门店在小程序商城上设置抽奖活动,中奖人员可内定; 2.适用场景 新店开业、门店周年庆、节假日等特定时间促销;会员拉新,需会…

k8s-第四节-Service

Service Service 通过 label 关联对应的 PodServcie 生命周期不跟 Pod 绑定,不会因为 Pod 重创改变 IP提供了负载均衡功能,自动转发流量到不同 Pod可对集群外部提供访问端口集群内部可通过服务名字访问 创建 Service kubectl apply -f service.yamlkub…

多个comfyui之间如何共享模型,节省存储空间

COMFYUI 模型共享插件教程 一、COMFYUI 模型共享插件教程1.1 插件特性1.2 插件介绍1.3 链接 二、详细配置步骤2.1 开启开发者选项2.2 放置插件文件2.3 放置配置文件2.4 编辑配置文件2.4.1 其他配置项 三、启动COMFYUI并验证3.1 启动COMFYUI3.2 验证模型共享3.3 多整合包共享配置…

C++11|完美转化 新的类功能 可变参数模板

目录 一、完美转发 1.1模板中的&&万能引用 1.2完美转发 1.3完美转发实际中的引用场景 二、新的类功能 2.1移动构造和移动赋值规则详解 2.2类成员变量初始化和强制生成默认函数(default) 2.3禁止生成默认函数的关键字(delete) 三、可变参数模板 3.1递归函数方式…

TCP和IP数据包结构

一、问题引入 一般我们在谈上网速度的时候,专业上用带宽来描述,其实无论说网速或者带宽都是不准确的,呵呵。比如:1兆,512K……有些在学校的学生,也许会有疑问,明明我的业务是1M,为…

某yi逆向sign值

1. 定位 url: aHR0cHM6Ly93d3cuaXFpeWkuY29tL3ZfMTlycjRyZ3AxZy5odG1s打开网址,找到sign值所在位置 应该是32位大写md5加密,可以看到console中加载出来很多东西,往下翻到base_info所在位置 点进去main.js,打上断点 2. 调试 刷…

项目基础知识

1.JDBC编程和MySQL数据库 数据库的连接(以前写qq项目时的代码) package com.wu.Util; import java.sql.*; public class JDBCUtil {private static JDBCUtil jdbcUtil null;private JDBCUtil() {}public static JDBCUtil getJdbcUtil() {if (jdbcUtil…

基于Echarts进行图表组件的封装

什么是Echarts 是一个使用js实现的开源可视库,提供了多种图表,但是当我们在项目中进行使用的时候可能就是需要进行一系列的相关配置如: 标题,类型,x轴,y轴等,当我们使用较为频繁的时候就容易导…

昇思25天学习打卡营第16天 | DCGAN生成漫画头像

这两天把minspore配置到我的电脑上了,然后运行就没什么问题了✨😊 今天学这个DCGAN生成漫画头像,我超级感兴趣的嘞🦄🥰 GAN基础原理 这部分原理介绍参考GAN图像生成。 DCGAN原理 DCGAN(深度卷积对抗生成…

一本超简单能用Python实现办公自动化的神书!让我轻松摆脱办公烦恼!

《超简单:用Python让Excel飞起来》 这本书旨在通过Python与Excel的“强强联手”,为办公人员提供一套高效的数据处理方案。书中还介绍了如何在Excel中调用Python代码,进一步拓宽了办公自动化的应用范围。 全书共9章。第1~3章主要讲解Python编…

【数据结构】06.栈队列

一、栈 1.1栈的概念及结构 栈:一种特殊的线性表,其只允许在固定的一端进行插入和删除元素操作。进行数据插入和删除操作的一端称为栈顶,另一端称为栈底。栈中的数据元素遵守后进先出LIFO(Last In First Out)的原则。 压栈&#…

JAVA 对象存储OSS工具类(腾讯云)

对象存储OSS工具类 import com.qcloud.cos.COSClient; import com.qcloud.cos.ClientConfig; import com.qcloud.cos.auth.BasicCOSCredentials; import com.qcloud.cos.auth.COSCredentials; import com.qcloud.cos.model.ObjectMetadata; import com.qcloud.cos.model.PutObj…

洗地机品牌哪个最好用?硬核推荐五大实力爆款洗地机

在这个忙碌的时代,家就是我们放松的港湾,但要保持它的清洁与舒适常常很不容易。每天拖着疲惫的身体回家,还要面对地板上那些难缠的灰尘、污渍,真是非常让人头疼。不过,洗地机的出现就像是给家务清洁装上了智能引擎&…