09 Redis之分布式系统(数据分区算法 + 系统搭建与集群操作)

6 分布式系统

Redis 分布式系统,官方称为 Redis Cluster,Redis 集群,其是 Redis 3.0 开始推出的分布式解决方案。其可以很好地解决不同 Redis 节点存放不同数据,并将用户请求方便地路由到不同 Redis 的问题。

什么是分布式系统?
每个集群中存储的数据不一致, 但又都为同一个系统服务.

在这里插入图片描述

6.1 数据分区算法

常见的数据分区规则有两大类:顺序分区与哈希分区。

6.1.1 顺序分区

顺序分区规则可以将数据按照某种顺序平均分配到不同的节点。不同的顺序方式,产生了不同的分区算法。例如,轮询分区算法、时间片轮转分区算法、数据块分区算法、业务主题分区算法等。
这些算法都比较简单

6.1.1.1 轮询分区算法

每产生一个数据,就依次分配到不同的节点。该算法适合于数据问题不确定的场景。

在数据总量非常庞大的情况下,每个节点中数据是很平均的。但生产者与数据节点间的连接要长时间保持。

6.1.1.2 时间片轮转分区算法

在某人固定长度的时间片内的数据都会分配到一个节点。时间片结束,再产生的数据就会被分配到下一个节点。这些节点会被依次轮转分配数据。

该算法可能会出现节点数据不平均的情况(因为每个时间片内产生的数据量可能是不同的)。但生产者与节点间的连接只需占用当前正在使用的这个就可以,其它连接使用完毕后就立即释放。

6.1.1.2 数据块分区算法

该算法要求提前确定整体数据总量

根据各个节点的存储能力,提前安排将某一块数据放置于某一节点。

6.1.2 哈希分区算法

哈希分区规则是充分利用数据的哈希值来完成分配,对数据哈希值的不同使用方式产生
了不同的哈希分区算法。
哈希分区算法相对较复杂

6.1.2.1 节点取模分区算法

该算法的前提是,每个节点都已分配好了一个唯一序号,对于 N 个节点的分布式系统,其序号范围为[0, N-1]。然后选取数据本身或可以代表数据特征的数据的一部分作为 key,先计算key的哈希值为hash(key) , 再用hash(key)与节点数量 N 取模,该计算结果即为该数据的存储节点的序号。

该算法最大的优点是简单,但其也存在较严重的不足。如果分布式系统扩容或缩容,已经存储过的数据需要根据新的节点数量 N 进行数据迁移,否则用户根据 key 是无法再找到原来的数据的。

生产中扩容一般采用翻倍扩容方式,以减少扩容时数据迁移的比例。

6.1.2.2 一致性哈希分区算法

在这里插入图片描述

6.1.2.3 虚拟槽分区算法

该算法首先虚拟出一个固定数量的整数集合,该集合中的每个整数称为一个 slot 槽。这个槽的数量一般是远远大于节点数量的。然后再将所有 slot 槽平均映射到各个节点之上。

例如,Redis 分布式系统中共虚拟了 16384 个 slot 槽,其范围为[0, 16383]。假设共有 3 个节点,那么 slot 槽与节点间的映射关系如下图所示:
在这里插入图片描述
而数据只与 slot 槽有关系,与节点没有直接关系。数据只通过其 key 的 hash(key)映射到slot 槽:slot = hash(key) % slotNums。

这也是该算法的一个优点,解耦了数据与节点,客户端无需维护节点,只需维护与 slot 槽的关系即可。 并且支持了负载均衡

Redis 数据分区采用的就是该算法。其计算槽点的公式为:slot = CRC16(key) &16383。其中即位与位之间"与运算" , CRC16()是一种带有校验功能的、具有良好分散功能的、特殊的 hash 算法函数。

我们都知道取模符号是% , 即原本公式应为 :slot = CRC16(key) % 16384


若要计算 a % b,且 b 是 2 的整数次幂,那么 a % b = a & (b-1) ,而位运算明显更快, 因此Redis中采用取模运算.


6.2 分布式系统搭建与运行

6.2.1 系统搭建

6.2.1.1 系统架构

下面要搭建的 Redis 分布式系统由 6 个节点构成,这 6 个节点的地址及角色分别如下表所示。一个 master 配备一个 slave,不过 master 与 slave 的配对关系,在系统搭建成功后会自动分配。
在这里插入图片描述

6.2.1.2 删除持久化文件

先将之前“Redis 主从集群”中在 Redis 安装目录下生成的 RDB 持久化文件 dump638*.conf与 AOF 持久化文件删除。

因为 Redis 分布式系统要求创建在一个空的数据库之上。
在这里插入图片描述

6.2.1.3 创建公共conf和各自的conf
  1. 先在 Redis 安装目录中 mkdir 一个新的目录 cluster-dis,用作分布式系统的工作目录。

  2. 再复制 2 个配置文件, 即原先 cluster 目录中的 redis.conf 与 redis6380.conf

在这里插入图片描述

  1. 修改公共conf文件
    A、 dir
    指定工作目录为前面创建的 cluster-dis 目录。持久化文件、节点配置文件将来都会在工作目录中自动生成。
    在这里插入图片描述
    B、 cluster-enabled
    该属性用于开启 Redis 的集群模式。
    在这里插入图片描述
    C、 cluster-config-file
    该属性用于指定“集群节点”的配置文件。该文件会在第一次节点启动时自动生成,其
    生成的路径是在 dir 属性指定的工作目录中。在集群节点信息发生变化后(如节点下线、故障转移等),节点会自动将集群状态信息保存到该配置文件中。
    不过,该属性在这里仍保持注释状态。在后面的每个节点单独的配置文件中配置它。
    在这里插入图片描述
    D、 cluster-node-timeout
    用于指定“集群节点”间通信的超时时间阈值,单位毫秒。
    在这里插入图片描述

  2. 修改单独的6380conf
    指定节点配置文件名 , 集群中节点发生变化时, 例如某个节点下线了, 故障转移, 都会记录到该文件中.
    在这里插入图片描述

  3. 复制剩余5个单独的conf文件
    使用 redis6380.conf 复制出 5 个配置文件 redis6381.conf、redis6382.conf、redis6383.conf、 redis6384.conf、redis6385.conf。
    在这里插入图片描述

  4. 修改 5 个配置文件
    修改 5 个配置文件 redis6381.conf、redis6382.conf、redis6383.conf、redis6384.conf、 redis6385.conf 的内容,将其中所有涉及的端口号全部替换为当前文件名称中的端口号。例如,下面的是 redis6381.conf 的配置文件内容。
    在这里插入图片描述

6.2.2 系统的启动和关闭

6.2.2.0 启停脚本

启动和停止的有点复杂, 不如直接做成一个脚本

需要注意的是, 该脚本仅用于学习, 因为生产环境下不会像现在一样搭建伪集群

在redis715/cluster-dis中新建这两个脚本
并且注意, 编写完成后还要增加权限 chmod 755 start-redis-cluster.sh

#!/bin/bash
rm -rf dump638*.rdb
rm -rf appendonlydir
rm -rf nodes-638*.conf

redis-server redis6380.conf
redis-server redis6381.conf
redis-server redis6382.conf
redis-server redis6383.conf
redis-server redis6384.conf
redis-server redis6385.conf

redis-cli --cluster create --cluster-replicas 1 192.168.177.129:6380 192.168.177.129:6381 192.168.177.129:6382 192.168.177.129:6383 192.168.177.129:6384 192.168.177.129:6385

ps aux | grep redis
#!/bin/bash

redis-cli -p 6380 shutdown
redis-cli -p 6381 shutdown
redis-cli -p 6382 shutdown
redis-cli -p 6383 shutdown
redis-cli -p 6384 shutdown
redis-cli -p 6385 shutdown

ps aux | grep redis
6.2.2.1 启动

在这里插入图片描述在这里插入图片描述
在这里插入图片描述
第一部分: 已经使用虚拟槽分区算法进行数据分区
第二部分: 已为每一个master分配一个slave
第三部分: 三主三从redis的动态id/主机号端口号/槽分配/角色

在这里插入图片描述
在这里插入图片描述

6.2.2.2 关闭

对于分布式系统的关闭, 只需要逐个shutdown即可

在这里插入图片描述

6.3 集群操作

6.3.1 连接集群

在这里插入图片描述

6.3.2 写入数据

正常写入中, 限制一次只能为一个key, 但value不限

6.3.2.1 key单个写入

无论value 类型为String 还是List、Set 等集合类型,只要只有一个key , 那么在分布式系统中就没有问题。例如,

在这里插入图片描述

6.3.2.2 key批量操作

对一次写入多个 key 的操作,多个 key 会计算出多个 slot,多个 slot 可能会对应多个节点。

而由于一次只能写入一个节点,所以该操作会报错。

不过,系统也提供了一种对批量 key 的操作方案,为这些 key 指定一个统一的 group,让这个 group 作为计算 slot 的唯一值。
在这里插入图片描述

6.3.3 集群查询

在这里插入图片描述

6.3.4 故障转移

分布式系统中的某个 master 如果出现宕机,那么其相应的 slave 就会自动晋升为master。
如果原 master 又重新启动了,那么原 master 会自动变为新 master 的 slave。

6.3.4.1 模拟故障

在这里插入图片描述在这里插入图片描述
在这里插入图片描述

6.3.4.2 故障服务能力

如果某 slot 范围对应节点的 master 与 slave 全部宕机,那么整个分布式系统是否还可以对外提供读服务,就取决于属性 cluster-require-full-coverage 的设置。
在这里插入图片描述

6.3.5 集群扩容

目标, 在原有系统的基础上, 在正在运行的分布式系统中添加两个新的节点:端口号为 6386 的节点为 master节点,其下会有一个端口号为 6387 的 slave 节点。

6.3.5.1 复制并修改两个单独的conf文件

使用 redis6380.conf 复制出 2 个配置文件 redis6386.conf 与 redis6387.conf,并修改其中的各处端口号为相应端口号,为集群扩容做前期准备。

6.3.5.2 启动系统与 2 个节点

在这里插入图片描述

6.3.5.3 添加master节点

在这里插入图片描述
在这里插入图片描述

6.3.5.4 分配slot

在这里插入图片描述
在这里插入图片描述
在QA交互中, 一共问了四个问题

  • 准备移动多少 slot?
  • 准备由谁来接收移动的 slot?
  • 选择要移动 slot 的源节点。
    有两种方案。
    A. 如果选择键入 all,则所有已存在 slot 的节点都将作为 slot 源节点,即该方案将进行一次 slot 全局大分配。
    B. 也可以选择其它部分节点作为 slot 源节点。此时将源节点的动态 ID 复制到这里,每个 ID 键入完毕后回车,然后再复制下一个 slot 源节点动态 ID,直至最后一个键入完毕回车后再键入 done。
    这里键入的是 all,进行全局大分配。
    在这里插入图片描述
    在这里插入图片描述
6.3.5.5 添加slave节点

在这里插入图片描述
在这里插入图片描述

6.3.6 集群缩容

对于缩容 , 删除master和slave的操作是不一样的.

下面要将 slave 节点 6387 与 master 节点 6386 从分布式系统中删除。
总体上分为三步

  1. 删除slave节点
  2. 处理master分配到的slot
  3. 删除master
6.3.6.1 删除slave节点

在这里插入图片描述

6.3.6.2 移除master节点所分配到的slot

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

6.3.6.3 删除master节点

在这里插入图片描述


6.4 分布式系统的限制

  • 仅支持 0 号数据库
  • 批量 key 操作支持有限
  • 分区仅限于 key
  • 事务支持有限
  • 不支持分级管理

6.5 Sentinel高可用集群启停脚本

上述都是演示普通的主从集群, 现在演示带有Sentinel的集群, 并且将启动和停止命令写入脚本

本示例采用三台Sentinel, 三台redis(一主两从)

bak是什么? 为什么要有bak?
之前演示Sentinel集群的时候看过, 只要一启动redis , 六台redis的conf文件就会多很多自动添加的内容, 但是这些内容的存在会导致下一次启动集群报错, 因此我们提前复制一份conf为conf.bak , 每次启动集群时都用conf.bak覆盖conf, 达到将conf文件复原的目的

然后再编写start-redis-sentinel脚本
在这里插入图片描述
不要忘了chmod

并且检查一下daemonsize为yes

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/411570.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

如何做代币分析:以 SOL 币为例

作者:lesleyfootprint.network 编译:cicifootprint.network 数据源:Solana Token Dashboard (仅包括以太坊数据) 在加密货币和数字资产领域,代币分析起着至关重要的作用。代币分析指的是深入研究与代币…

【蓝桥杯】青蛙跳杯子(BFS)

一.题目描述 二.输入描述 输入为 2 行,2 个串,表示初始局面和目标局面。我们约定,输入的串的长度不超过 15。 三.输出描述 输出要求为一个整数,表示至少需要多少步的青蛙跳。 四.问题分析 注意:空杯子只有一个 …

fl studio v20.8中文破解版(附Crack文件+图文安装教程)

fl studio20.8是一款功能强大的编曲软件,也就是众所熟知的水果软件。它可以编曲、剪辑、录音、混音,让您的计算机成为全功能录音室。除此之外,这款软件功能非常强大,为用户提供了许多音频处理工具,包含了编排&#xff…

什么是DOM?(详解)

什么是DOM? DOM的定义知识回顾什么是D?什么是O?什么是M?什么是DOM树?根节点对象与节点对象 DOM树简单举例DOM的主要用途 DOM的定义 DOM(Document Object Model,文档对象模型) W3C对…

MySQL 8自动备份脚本密码安全警告

作者:田逸(formyz) 目标需求 接到一个任务,需要在凌晨四点对一个数据库进行备份,不是进行全库备份,而是只对制定的数据库进行逐一导出,并生成以库为关键字的“.sql”文件。数据库的版本为MySQL …

宝塔面板mysql使用root账户远程登录

今日在弄数据库备份,我们两台服务器,一台测试环境一个正式环境;使用linux宝塔面板,数据库都是服务器本地mysql,打算在测试服务器添加远程数据库备份正式环境的数据库,需要注意的是添加远程服务器后必须点一…

Linux编程 1.3 系统文件IO- 内核表示

文件IO内核表示 1、内核中的三种数据结构 1.1文件描述符表 文件描述符标志 文件表项指针1.2 文件表项 文件状态标志 读、写、追加、同步和非阻塞等状态标志 当前文件偏移量 i节点表项指针 引用计数器1.3 节点 文件类型和对该文件的操作函数指针 当前文件长度 文件所有者 文…

外汇天眼:投资者关注!Cboe与MSCI发布多样化指数期权和波动率指数

芝加哥期权交易所全球市场(Cboe Global Markets)与摩根士丹利资本国际(MSCI)合作推出新的指数期权和波动率指数 芝加哥期权交易所全球市场(Cboe Global Markets, Inc.)今天宣布与MSCI Inc.(MSC…

Python性能测试框架Locust实战教程

01、认识Locust Locust是一个比较容易上手的分布式用户负载测试工具。它旨在对网站(或其他系统)进行负载测试,并确定系统可以处理多少个并发用户,Locust 在英文中是 蝗虫 的意思:作者的想法是在测试期间,放…

【生成式AI】ChatGPT原理解析(1/3)- 对ChatGPT的常见误解

Hung-yi Lee 课件整理 文章目录 误解1误解2ChatGPT真正在做的事情-文字接龙 ChatGPT是在2022年12月7日上线的。 当时试用的感觉十分震撼。 误解1 我们想让chatGPT讲个笑话,可能会以为它是在一个笑话的集合里面随机地找一个笑话出来。 我们做一个测试就知道不是这样…

【论文笔记之 YIN】YIN, a fundamental frequency estimator for speech and music

本文对 Alain de Cheveigne 等人于 2002 年在 The Journal of the Acoustical Society of America 上发表的论文进行简单地翻译。如有表述不当之处欢迎批评指正。欢迎任何形式的转载,但请务必注明出处。 论文链接:http://audition.ens.fr/adc/pdf/2002_…

[C++]18:set和map的使用

set和map的使用 一.关联式容器&#xff1a;1.简单概念&#xff1a;2.<key , value>--->键值对3.set和map的底层结构&#xff08;平衡搜索树或者红黑树&#xff09; 二.set1.set (排序不重复)1.模板参数&#xff1a;2.set是一个有序存储的容器&#xff1a;3.set中每个数…

iconfont的组件化使用方法(SVG)

目录 一、需求描述二、操作步骤1.在iconfont中选择项目需要使用的图标2.在项目中创建iconfont.js3.创建svgIcon组件 一、需求描述 将iconfont图标库选择的图标以SVG的形式引入项目并通过组件化的形式在项目中引用可控制图标的大小和颜色 二、操作步骤 1.在iconfont中选择项目…

H264/H265基本编码参数1

本文主要讲解一些视频编码相关的基本概念 像素 像素是图像的基本单元&#xff0c;一个个像素就组成了图像。你可以认为像素就是图像中的一个点。我们来直观地看看像素是怎么组成图像的。在下面这张图中&#xff0c;你可以看到一个个方块&#xff0c;这些方块就是像素。 分辨…

猫头虎分享已解决Bug || TypeError: Object(...) is not a function (React Hooks)

博主猫头虎的技术世界 &#x1f31f; 欢迎来到猫头虎的博客 — 探索技术的无限可能&#xff01; 专栏链接&#xff1a; &#x1f517; 精选专栏&#xff1a; 《面试题大全》 — 面试准备的宝典&#xff01;《IDEA开发秘籍》 — 提升你的IDEA技能&#xff01;《100天精通鸿蒙》 …

vue3 使用qrcodejs2-fix生成二维码并可下载保存

直接上代码 <el-button click‘setEwm’>打开弹框二维码</el-button><el-dialog v-model"centerDialogVisible" align-center ><div class"code"><div class"content" id"qrCodeUrl" ref"qrCodeUrl&q…

C++ //练习 9.18 编写程序,从标准输入中读取string序列,存入一个deque中。编写一个循环,用迭代器打印deque中的元素。

C Primer&#xff08;第5版&#xff09; 练习 9.18 练习 9.18 编写程序&#xff0c;从标准输入中读取string序列&#xff0c;存入一个deque中。编写一个循环&#xff0c;用迭代器打印deque中的元素。 环境&#xff1a;Linux Ubuntu&#xff08;云服务器&#xff09; 工具&am…

成都直播基地产业合规指南 共促直播行业和谐发展

随着互联网技术的不断发展&#xff0c;直播行业正迅速崛起&#xff0c;成为当今社会最具有影响力和商业价值的行业之一。而作为直播行业中的重要组成部分&#xff0c;各大互联网机构在推动直播产业发展的过程中扮演着至关重要的角色。天府锋巢直播产业基地作为成都规模最大的直…

微服务篇之任务调度

一、xxl-job的作用 1. 解决集群任务的重复执行问题。 2. cron表达式定义灵活。 3. 定时任务失败了&#xff0c;重试和统计。 4. 任务量大&#xff0c;分片执行。 二、xxl-job路由策略 1. FIRST&#xff08;第一个&#xff09;&#xff1a;固定选择第一个机器。 2. LAST&#x…

FreeRTOS 的队列基础API函数的使用

参考教程来源 //* 实验平台:启明欣欣 STM32F407应用开发板(高配版) 参考正点原子 #include "freertos_demo.h" #include "./SYSTEM/usart/usart.h" #include "led.h" #include "lcd.h" #include "key.h"/*FreeRTOS*********…