高性能分布式缓存Redis-高可用部署

一、主从架构搭建

为什么要进行主从架构搭建，一台redis不行吗？

①、持久化后的数据只在一台机器上，因此当硬件发生故障时，比如主板或CPU坏了，这时候无法重启服务器，有什么办法可以保证服务器发生故障时数据的安全性？或者可以快速恢复数据呢？

②、一台机器的内存容量瓶颈问题，搭建多台redis能够提高最大容量

主从架构介绍

redis提供了复制(replication)的功能，通过"主从(一主多从)"和"集群(多主多从)"的方式对redis的服务进行水平扩展,用多台redis服务器共同构建一个高可用的redis服务系统。

如何实现主从服务器之间的数据复制同步？

策略1 ：一主多从 主机(写)，从机(读)

策略2：薪火相传（可以由一部分从节点同步给其他从节点）

主从同步原理剖析

Redis的主从复制是异步复制，异步分为两个方面

  • 一个是master服务器在将数据同步到slave时是异步的，因此master服务器在这里仍然可以接收其他请求
  • 一个是slave在接收同步数据也是异步的。

全量同步

master服务器会将自己的rdb文件发送给slave服务器进行数据同步，并记录同步期间的其他写入，再发送给slave服务器，以达到完全同步的目的，这种方式称为全量复制。

主从服务器在完成第一次同步后，双方之间就会维护一个TCP连接（长连接），更方便的传输写操作命令

增量同步

因为各种原因 master 服务器与slave 服务器断开后，slave 服务器在重新连上master服务器时会尝试重新获取断开后未同步的数据即部分同步，或者称为部分复制。

在全量同步中有一个offset，这表明我当前同步到哪个数据了（和kafka有点类似），主服务器有一个环装的数据结构，也就是哪个缓冲区，当从服务器在第一步发过来的offset与主服务器在这个期间产生的新的offset（产生新的命令）差值到达了环装缓冲区的阈值（一圈后），那就要全量同步，否则就只同步这个差值即可，也就是增量同步

主从架构部署演示

有三种方式配置从节点

（1）配置文件：在从服务器的配置文件中加入：slaveof

（2）redis-server启动命令后加入 --slaveof

（3）Redis服务器启动后，直接通过客户端执行命令：slaveof ，则该Redis实例成为从节点

基于第二种方式演示

1、开启三个redis服务

redis-server ./redis.conf --port 6379
redis-server ./redis.conf --port 6380
redis-server ./redis.conf --port 6381

2、通过 info replication 命令查看三台节点角色

初始状态，三台节点都是master

3、设置主从关系，从节点执行命令：SLAVEOF 127.0.0.1 6379

 4、接下来再查看，就已经变成slave的角色了

通过SLAVE OF 127.0.0.1 6379 ，如果主节点6379以前还存在一些key，那么执行命令之后，从节点会将以前的信息也都复制过来

5、主从读写分离

尝试在slave进行写操作

注：需要在redis.conf中配置replica-read-only yes

如果我们将其修改为 no 之后，执行写命令是可以的，但是从节点写命令的数据从节点或者主节点都不能获取的。

sentinel哨兵模式

通过前面的配置，主节点Master 只有一个，一旦主节点挂掉之后，从节点没法担起主节点的任务，那么整个系统也无法运行。

如果主节点挂掉之后，从节点能够自动变成主节点，那么问题就解决了，于是哨兵模式诞生了。

哨兵模式是一种特殊的模式，首先Redis提供了哨兵的命令，哨兵是一个独立的进程，作为进程，它会独立运行。其原理是哨兵通过发送命令，等待Redis服务器响应（类似于心跳机制），从而监控运行的多个Redis实例。

哨兵搭建

二、redis-cluster搭建

1、基本概念分析

我们先来看一下，主从+哨兵模式，有什么问题？

（1）在主从 + 哨兵模式中，仍然只有一个Master节点。当并发写请求较大时，哨兵模式并不能缓解写压力。因为只有一个master，只有master才能进行写操作

（2）在Redis Sentinel模式中，每个节点需要保存全量数据，冗余比较多

所以，从3.0版本之后，官方推出了Redis Cluster，它的主要用途是实现数据分片(Data Sharding)，不过同样可以实现HA，是官方当前推荐的方案。

  • Redis-Cluster采用无中心结构
  • 只有当集群中的大多数节点同时fail整个集群才fail。
  • 整个集群有16384个slot，当需要在 Redis 集群中放置一个 key-value 时，根据 CRC16(key) mod 16384的值，决定将一个key放到哪个桶中。读取一个key时也是相同的算法。
  • 当主节点fail时从节点会升级为主节点，fail的主节点online之后自动变成了从节点

当发生了故障之后，整个集群是怎么做的？（故障转移）

  • Redis 集群中每个节点会与其他节点定期交换信息，这些信息会被用于判断某个节点的状态。
  • 当一个主节点宕机时，其他节点会检测到它长时间未响应，并将其标记为主观下线（PFAIL，Partial Failure）。
  • 如果多个主节点都认为该节点宕机，它们会相互验证，达到一致意见后，将该节点标记为客观下线（FAIL，Failure）。
  • 这时，集群确认该节点已经失效，不再处理请求，接下来会启动故障转移流程。
  • 故障的主节点拥有的分片数据会被自动转移到它的从节点中，以便继续提供服务。
  • 集群中的健康主节点会发起从节点选举，选择一个从节点来接管原主节点的角色。
  • 从节点中优先选择最新的数据副本接任主节点。如果多个从节点满足条件，会按优先级或ID来选择一个。
  • 被选中的从节点将成为新的主节点，其他从节点会自动开始跟随新主节点。
  • 集群中其他节点会被通知，更新其元数据以识别新主节点。此后，所有指向旧主节点的数据请求将被重定向到新主节点。

以上就是redis cluster中的故障转移整个流程

cluster的数据分片策略

Redis-cluster分片策略，是用来解决key存储位置的，这样就可以将key均衡的存储到不同的master中，共同对外提供服务

常见的数据分片的方式：顺序分片、哈希分片、节点取余哈希、一致性哈希..

那redis当中的cluster采用了什么分片策略呢？

Redis 集群没有使用一致性hash, 而是引入了 哈希槽的概念.

预设虚拟槽，每个槽就相当于一个数字，有一定范围（0到16383）

我们来看一下分配的流程步骤：

  • 1.把16384槽按照节点数量进行平均分配，由节点进行管理

  • 2.对每个key按照CRC16规则进行hash运算

  • 3.把hash结果对16383进行取余

  • 4.把余数发送给Redis节点

  • 5.节点接收到数据，验证是否在自己管理的槽编号的范围

    • 如果在自己管理的槽编号范围内，则把数据保存到数据槽中，然后返回执行结果
    • 如果在自己管理的槽编号范围外，则会把数据发送给正确的节点，由正确的节点来把数据保存在对应的槽中

2、集群搭建

先来预览一下大致的步骤：

  • 启动节点：将节点以集群方式启动，此时节点是独立的。
  • 节点握手：将独立的节点连成网络。
  • 槽指派：将16384个槽位分配给主节点，以达到分片保存数据库键值对的效果。
  • 主从复制：为从节点指定主节点。

1）创建并启动集群的所有节点

新建目录，并拷贝出6个节点的配置文件

mkdir /usr/local/redis/redis-cluster
cd /usr/local/redis/redis-cluster
mkdir 900{1,2,3,4,5,6}

将redis.conf，依次拷贝到每个900X目录内，并修改每个900X目录下的redis.conf配置文件：

cd /usr/local/redis/redis-cluster/9001
cp /usr/local/redis/bin/redis.conf ./
vim redis.conf

9002、9003等等都是类似的步骤

以集群方式启动
# cluster-enabled yes      将前面的 # 去掉 

启动这些服务

redis-server /usr/local/redis/redis-cluster/9001/redis.conf --port 9001
redis-server /usr/local/redis/redis-cluster/9002/redis.conf --port 9002
redis-server /usr/local/redis/redis-cluster/9003/redis.conf --port 9003
redis-server /usr/local/redis/redis-cluster/9004/redis.conf --port 9004
redis-server /usr/local/redis/redis-cluster/9005/redis.conf --port 9005
redis-server /usr/local/redis/redis-cluster/9006/redis.conf --port 9006

查看进程

2）将独立的节点连成网络

#replicas表示副本数，如果指定1则表示1个从库做备用
redis-cli --cluster create 127.0.0.1:9001 127.0.0.1:9002 127.0.0.1:9003 --cluster-replicas 1

 参数解释：

  • –cluster-replicas 1：表示希望为集群中的每个主节点创建一个从节点(一主一从)。
  • –cluster-replicas 2：表示希望为集群中的每个主节点创建两个从节点(一主二从)。

中间的127.0.0.1:9001/127.0.0.1:9002/127.0.0.1:9003表示三个master节点

如果节点上有数据，可能会有错误提示：

[ERR] Node 127.0.0.1:8004 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.

解决办法：删除dump.rdb，nodes.conf，登录redis-cli，flushdb即可

如果没问题，将收到集群创建成功的消息：

3）集群验证

cluster命令验证

#使用redis-cli登录任意节点，使用cluster nodes可以查看集群信息
127.0.0.1:9001> cluster nodes
39c613372129fe80fe93b6fb3070f9562c315a59 127.0.0.1:9001@18082 master - 0 1615193645000 2 connected 5461-10922
725c09c568cb4010afe84d5cb4672fff5a248879 127.0.0.1:9002@18083 master - 0 1615193645976 3 connected 10923-16383
9fad54e90628814c1b2a5b57c2ad22b92f0f7b05 127.0.0.1:9003@18081 myself,master - 0 1615193644000 1 connected 0-5460

使用key值和数据验证

#注意，redis-cli参数：
# -c ： 自动重定向到对应节点获取信息，如果不加，只会返回重定向信息，不会得到值

#不加 -c
[root@ src]# redis-cli -p 9001
127.0.0.1:9001> set a a
(error) MOVED 15495 127.0.0.1:8083

#加上 -c
[root@ src]# redis-cli -p 9001 -c
127.0.0.1:9001> set a a
-> Redirected to slot [15495] located at 127.0.0.1:9003    #自动跳到9003
OK
127.0.0.1:9003> get a    #可以成功get到a的值
"a"

4）集群节点扩容

按上面方式，新起一个redis ， 9004端口

#第一个参数是新节点的地址，第二个参数是任意一个已经存在的节点的IP和端口
redis-cli --cluster add-node 127.0.0.1:9004 127.0.0.1:9001

使用redis-cli登录任意节点，使用cluster nodes查看新集群信息

127.0.0.1:9001> cluster nodes
#注意！新加进来的这个8084是空的，没有分配片段
eb49056da71858d58801f0f28b3d4a7b354956bc 127.0.0.1:9004@18084 master - 0 1602665893207 0 connected
16a3f8a4be9863e8c57d1bf5b3906444c1fe2578 127.0.0.1:9003@18082 master - 0 1602665891204 2 connected 5461-10922
214e4ca7ece0ceb08ad2566d84ff655fb4447e19 127.0.0.1:9002@18083 master - 0 1602665892000 3 connected 10923-16383
864c3f763ab7264ef0db8765997be0acf428cd60 127.0.0.1:9001@18081 myself,master - 0 1602665890000 1 connected 0-5460

重新分片

redis-cli --cluster reshard 127.0.0.1:9001

redis-cli --cluster reshard 127.0.0.1:9001  --cluster-from 
10ac7df576168e7f6ec86b20b249e02b1fc13a25,43284b05c5a359b28507b49c29a49637f1f6312b,02a79c59682b7c05f13d41e46e814fc792fa2c50 --cluster-to 07e3416aba80cfb8a8ef81d27228559e5a9d6415 --cluster-slots 1024
#根据提示一步步进行，再次查看node分片，可以了！
127.0.0.1:8081> cluster nodes
eb49056da71858d58801f0f28b3d4a7b354956bc 127.0.0.1:9004@18084 master - 0 1602666306047 4 connected 0-332 5461-5794 10923-11255
16a3f8a4be9863e8c57d1bf5b3906444c1fe2578 127.0.0.1:9003@18082 master - 0 1602666305045 2 connected 5795-10922
214e4ca7ece0ceb08ad2566d84ff655fb4447e19 127.0.0.1:9002@18083 master - 0 1602666305000 3 connected 11256-16383
864c3f763ab7264ef0db8765997be0acf428cd60 127.0.0.1:9001@18081 myself,master - 0 1602666303000 1 connected 333-5460

平衡哈希槽：

这一步，是为了保证redis哈希槽的在每一个节点的均衡，需要对哈希槽进行均衡

redis-cli --cluster rebalance 127.0.0.1:9001

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/914232.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Profinet转CanOpen网关连接与CanOpen协议磁轨道实现高效连接

Profinet转CanOpen网关连接与CanOpen协议磁轨道实现高效连接

该项目旨在展示如何通过开疆智能Profinet转Canopen网关实现西门子1200PLC与磁轨道之间的连接。以下是项目实施的步骤概要：安装必要的GSD文件到西门子组态软件中，确保系统能够识别并使用Profinet转Canopen网关设备。 进行设备配置，包括将PLC和…
阅读更多...
openai Realtime API （实时语音）

openai Realtime API （实时语音）

https://openai.com/index/introducing-the-realtime-api/ 官方demo https://github.com/openai/openai-realtime-console 官方demo使用到的插件 https://github.com/openai/openai-realtime-api-beta?tabreadme-ov-file 装包配置 修改yarn.lock 这个包是从github下载的 &q…
阅读更多...
Docker--Docker是什么和对Docker的了解

Docker--Docker是什么和对Docker的了解

Docker 的本质 Docker的本质是LXC（Linux容器）之类的增强版，它本身不是容器，而是容器的易用工具。 Docker通过虚拟化技术，将代码、依赖项和运行环境打包成一个容器，并利用隔离机制来使得容器之间互相独立、…
阅读更多...
【报错记录】Steam迁移(移动)游戏报：移动以下应用的内容失败：XXX: 磁盘写入错误

【报错记录】Steam迁移(移动)游戏报：移动以下应用的内容失败：XXX: 磁盘写入错误

前言 由于黑神话悟空，导致我的2TB的SSD系统盘快满了，我又买了一块4TB的SSD用来存放游戏，我就打算把之前C盘里的游戏移动到D盘，结果Steam移动游戏居然报错了，报的还是“磁盘写入错误”，如下图所示&#xff…
阅读更多...
攻防世界37-unseping-CTFWeb

攻防世界37-unseping-CTFWeb

攻防世界37-unseping-CTFWeb <?php highlight_file(__FILE__);class ease{private $method;private $args;function __construct($method, $args) {$this->method $method;$this->args $args;}function __destruct(){if (in_array($this->method, array("…
阅读更多...
LabVIEW 版本控制

LabVIEW 版本控制

在软件开发中&#xff0c;版本控制系统&#xff08;VCS&#xff09; 是管理代码版本变化的核心工具。对于 LabVIEW 用户&#xff0c;虽然图形化编程带来高效开发体验&#xff0c;但由于其特有的二进制 VI 文件格式&#xff0c;传统文本比较工具无法直接用于 LabVIEW 项目。这时…
阅读更多...
Cesium着色器的创意和方法(五——Polyline）

Cesium着色器的创意和方法(五——Polyline）

不接受反驳&#xff0c;线段在三维里面的渲染比多边形的渲染更复杂。因为线是没有宽度的&#xff0c;并且还需要时时刻刻向着你。 首先看下Cesium的线段的一些效果。这条线段非常宽&#xff08;20个像素&#xff09;&#xff0c;有两个需要留意观察的。一是线段并非实时面对我…
阅读更多...
独立开发者赚钱心法

独立开发者赚钱心法

一、独立开发者的身份转变 开发者到多重角色&#xff1a;独立开发者不仅是程序员&#xff0c;还是产品经理、设计师、文案、销售、运营、客服&#xff0c;最重要的是成为“老板”。思维转变&#xff1a;将开发程序视为一门生意&#xff0c;而非单纯的技术实现。 二、赚钱的核…
阅读更多...
Hook小程序

Hook小程序

下载&#xff1a; https://github.com/JaveleyQAQ/WeChatOpenDevTools-Python 配置&#xff1a; pip install -r requirements 实现&#xff1a; 开启小程序开发者模式&#xff0c;类似浏览器F12 效果&#xff1a; 使用&#xff1a; 退出微信&#xff0c;进入安装的目录…
阅读更多...
【Spring Security系列】10分钟实现 SpringSecurity + CAS 完美单点登录方案

【Spring Security系列】10分钟实现 SpringSecurity + CAS 完美单点登录方案

作者&#xff1a;后端小肥肠 &#x1f347; 我写过的文章中的相关代码放到了gitee&#xff0c;地址&#xff1a;xfc-fdw-cloud: 公共解决方案 &#x1f34a; 有疑问可私信或评论区联系我。 &#x1f951; 创作不易未经允许严禁转载。 姊妹篇&#xff1a; 【Spring Security系列…
阅读更多...
Spring Boot编程训练系统：构建可扩展的应用

Spring Boot编程训练系统：构建可扩展的应用

摘要 随着信息技术在管理上越来越深入而广泛的应用&#xff0c;管理信息系统的实施在技术上已逐步成熟。本文介绍了编程训练系统的开发全过程。通过分析编程训练系统管理的不足&#xff0c;创建了一个计算机管理编程训练系统的方案。文章介绍了编程训练系统的系统分析部分&…
阅读更多...
提升AI性能的关键大型语言模型（LLM）压缩策略

提升AI性能的关键大型语言模型（LLM）压缩策略

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…
阅读更多...
「IDE」集成开发环境专栏目录大纲

「IDE」集成开发环境专栏目录大纲

✨博客主页何曾参静谧的博客&#x1f4cc;文章专栏「IDE」集成开发环境&#x1f4da;全部专栏「Win」Windows程序设计「IDE」集成开发环境「UG/NX」BlockUI集合「C/C」C/C程序设计「DSA」数据结构与算法「UG/NX」NX二次开发「QT」QT5程序设计「File」数据文件格式「UG/NX」NX定…
阅读更多...
关于 npm 更新镜像源问题

关于 npm 更新镜像源问题

npm&#xff08;Node Package Manager&#xff09;&#xff0c;是一个NodeJS包管理和分发工具&#xff0c;已经成为了非官方的发布Node模块&#xff08;包&#xff09;的标准。&#xff09; 查看当前npm版本 npm -v 10.9.0 执行以下命令报错 npm install --registryhttp…
阅读更多...
Worldly平台更新Higg FEM 2024模块价格及购买指南

Worldly平台更新Higg FEM 2024模块价格及购买指南

近日&#xff0c;LEVERAGE供应链管理从美国可持续服装联盟&#xff08;Cascale&#xff09;验证官方Worldly平台模块订阅更新中获悉&#xff0c;FEM2024模块价格更新的重要信息。此次更新涉及工厂环境模块&#xff08;FEM&#xff09;和工厂社会劳工模块&#xff08;FSLM&#…
阅读更多...
MQ的实际使用

MQ的实际使用

前言: 在这一篇文章当中我会以RcoketMQ来对其的使用的场景进行一个仔细地说明,这个里面也会涉及到一些额外的知识,看完之后对面试而言的话那么就是直接拿捏,当然在看这篇文章之前要先看MQ的基础知识-CSDN博客 毕竟基础才是王道,下面就是开始我们的正菜 在我的基础的那篇文章中就…
阅读更多...
MFC图形函数学习08——绘图函数的重载介绍

MFC图形函数学习08——绘图函数的重载介绍

在《MFC图形函数学习06——画椭圆弧线函数》中介绍了CPoint类、POINT结构体&#xff1b;在《MFC图形函数学习07——画扇形函数》中介绍了CRect类、RECT结构体。在介绍完后&#xff0c;没有介绍它们怎样使用。实际上&#xff0c;这些类和结构体对象或指针也是我们学习过的绘图函…
阅读更多...
SAP-ABAP开发-BAPI

SAP-ABAP开发-BAPI

BAPI基于数据库表的操作函数传入传出数据&#xff0c;本身函数有接口与增强无关 目录 一、BAPI接口定义 二、业务对象 三、查询方法 四、调用 五、BAPI创建 &#xff08;1&#xff09;在DDIC中创建一个结构 &#xff08;2&#xff09;创建BAPI函数模块和函数或API方法 …
阅读更多...
Ceph MDS高可用架构探索：从零到一构建多主一备MDS服务

Ceph MDS高可用架构探索：从零到一构建多主一备MDS服务

文章目录 Ceph实现MDS服务多主一备高可用架构当前 mds 服务器状态添加 MDS 服务器验证ceph集群当前状态当前的文件系统状态设置处于激活状态 mds 的数量MDS 高可用优化分发配置文件并重启 mds 服务 Ceph实现MDS服务多主一备高可用架构 Ceph 的元数据服务&#xff08;MDS&#…
阅读更多...
python实战（八）——情感识别（多分类）

python实战（八）——情感识别（多分类）

一、任务目标 本文使用的是来自Kaggle的一个情感识别数据集&#xff0c;这个数据集的总数据量是5934条&#xff0c;标签为anger、fear、joy三种情感的其中一种&#xff0c;很明显是一个多分类任务。这里&#xff0c;我们将使用微调技巧进行深度学习建模&#xff0c;同时我们会比…
阅读更多...
最新文章

Copyright @ 2022~2023