搭建Redis集群

一 应用场景

为什么需要redis集群?

当主备复制场景,无法满足主机的单点故障时,需要引入集群配置。

一般数据库要处理的读请求远大于写请求 ,针对这种情况,我们优化数据库可以采用读写分离的策略。我们可以部 署一台主服务器主要用来处理写请求,部署多台从服务器 ,处理读请求。

二 基本原理

哨兵选举机制,如果有半数节点发现某个异常节点,共同决定改异常节点的状态,如果该节点是主节点,对应的备节点自动顶替为主节点。Sentinel(哨兵)是Redis 的高可用性解决方案:由一个或多个Sentinel 实例 组成的Sentinel 系统可以监视任意多个主服务器,以及这些主服务器属下的所有从服务器,并在被监视的主服务器进入下线状态时,自动将下线主服务器属下的某个从服务器升级为新的主服务器。

1.主从复制的作用

1、数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。

2、故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。

3、负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量。

4、读写分离:可以用于实现读写分离,主库写、从库读,读写分离不仅可以提高服务器的负载能力,同时可根据需求的变化,改变从库的数量。

5、高可用基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础

2.配置集群所需的环境

Redis集群至少需要3个节点,因为投票容错机制要求超过半数节点认为某个节点挂了该节点才是挂了,所以2个节点无法构成集群。

要保证集群的高可用,需要每个节点都有从节点,也就是备份节点,所以Redis集群至少需要6台服务器。因为我没有那么多服务器,也启动不了那么多虚拟机,所在这里搭建的是伪分布式集群,即一台服务器虚拟运行6个redis实例,修改端口号为(7001-7006),当然实际生产环境的Redis集群搭建和这里是一样的。

槽点

在Redis集群中,槽(Slot)是一种逻辑上的划分方式,用于将数据按照Key进行分片存储。Redis集群默认将所有数据分成16384个槽,每个槽可以存储一个或多个键值对。

槽的作用是实现数据的分布式存储和负载均衡。通过对Key进行哈希计算,确定每个键值对应该存放在哪个槽中,从而将数据均匀地分配到整个集群中的各个节点上。这样可以保证数据在集群中的分布相对均衡,提高整个集群的性能和可扩展性。

在Redis集群中,每个节点负责处理一部分槽的数据。当一个节点加入或离开集群时,槽的重新分配会发生变化。集群中的主节点会根据需要将槽从一个节点迁移到另一个节点,以实现负载均衡和高可用性。

3.配置集群所需的环境

Redis集群至少需要3个节点,因为投票容错机制要求超过半数节点认为某个节点挂了该节点才是挂了,所以2个节点无法构成集群。

要保证集群的高可用,需要每个节点都有从节点,也就是备份节点,所以Redis集群至少需要6台服务器。因为我没有那么多服务器,也启动不了那么多虚拟机,所在这里搭建的是伪分布式集群,即一台服务器虚拟运行6个redis实例,修改端口号为(7001-7006),当然实际生产环境的Redis集群搭建和这里是一样的。

(1).规划网络。

用一台虚拟机模拟6个节点,一台机器6个节点,创建出3 master、3 salve 环境。虚拟机是 CentOS7 ,ip地址192.168.195.33

或者

创建六台服务器,步骤与一台创建六个节点效果相同

(2).创建 Redis 节点

首先在 192.168.195.33  机器上 /usr/目录下创建 myredis目录;

mkdir myredis

(创建六台服务器的克隆服务器安装配置好redis就可以,不用执行2、3)

(3).创建目录

在 myredis 目录下,创建名为7001、7002,7003、7004、7005,7006的目录

mkdir 7001 7002 7003 7004 7005 7006

 (4).配置7001、7002,7003、7004、7005,7006

先在7001目录配置,添加redis.conf文件

写入

include /usr/th/redis/redis-5.0.14/redis.conf //th是我自己的目录
port 7001
pidfile "/var/run/redis_7001.pid"
dbfilename "dump_7001.rdb"
dir "/usr/myredis/7001"
logfile "/usr/myredis/7001/redis_err_7001.log"
bind 0.0.0.0
protected-mode no
daemonize yes

cluster-enabled yes
cluster-config-file nodes-7001.conf
cluster-node-timeout 15000

(配置内容参考redis主从复制的文章)

机器一般不设置密码

(5).将 7001的redis.conf 拷贝到这六个目录中

echo ./7002 ./7003 ./7004 ./7005 ./7006 | xargs -n 1 cp -v /usr/myredis/7001/redis.conf

拷贝完然后更改里面的端口号可以了

(6)启动

一键启动,在myredis中写一个stredis的脚本,并给脚本赋权限

#!/bin/bash
/usr/local/bin/redis-server /usr/myredis/7001/redis.conf
/usr/local/bin/redis-server /usr/myredis/7002/redis.conf
/usr/local/bin/redis-server /usr/myredis/7003/redis.conf
/usr/local/bin/redis-server /usr/myredis/7004/redis.conf
/usr/local/bin/redis-server /usr/myredis/7005/redis.conf
/usr/local/bin/redis-server /usr/myredis/7006/redis.conf

 (7) 创建redis的集群

Redis-cli --cluster create 节点(ip:端口号)

--cluster-replicas 1

分配主从 比例1

/usr/local/bin/redis-cli --cluster create 192.168.195.33:7001 192.168.195.33:7002 192.168.195.33:7003 192.168.195.33:7004 192.168.195.33:7005 192.168.195.33:7006 --cluster-replicas 1

六个节点  三个主节点 三个从节点配置成功如下图

(8)使用cli连接redis集群

使用客户端链接集群 必须使用 -c 连接

/usr/java/redis/bin/redis-cli -c -h 192.168.159.34 -p 7002

查看集群的节点的信息 :cluster nodes

 

(9)检查节点的信息 

 /usr/local/bin/redis-cli --cluster check 192.168.184.33:7003

(10)添加主节点

配置文件 7007 /redis.conf

在添加之前首先要像7001-6一样,修改配置文件

启动7007 服务 

添加主节点

/usr/java/redis/bin/redis-cli --cluster add-node 192.168.159.34:7007 192.168.159.34:7002

前面的IP加端口号是要添加的redis节点,后面的IP和端口号是集群中的任意一个节点。

 表示添加成功

(11) 配置从节点 

刚才添加的主节点还没有分配槽,所以无法使用

添加从节点之前需要设置从节点并启动节点

配置7008成为7007的从节点

 /usr/local/bin/redis-cli --cluster add-node 192.168.195.33:7008 192.168.195.33:7002 --cluster-slave --cluster-master-id 9b1df1481e5a40bf6028dcd036a823cca4f880f7

主节点分配槽 

槽在创建集群时就已分配只有那么多,所有只能重分配

 /usr/local/bin/redis-cli --cluster reshard 192.168.195.33:7001

查看7007,可以看到已分配500个槽

 (12)删除从节点

 --cluster del-node 集群的节点 节点的id

 /usr/local/bin/redis-cli --cluster del-node 192.168.195.33:7001 d1fcea6d16a4434493f6615e48c5bc9ba89364a0

(12)删除主节点

先将槽归还给集群

槽点为归0删不了

/usr/local/bin/redis-cli --cluster reshard 192.168.195.33:7001

槽点为0

删除主节点(只有槽点为0后才能删除主节点)

(13)测试集群 

关闭7002后7005成为主节点

 /usr/local/bin/redis-cli -p 7002 shutdown(优雅的关闭)

 

 如果7002重新启动成为7005的从节点

 优雅的关闭脚本 不能kill -9

 vim stpredis 

#!/bin/bash
/usr/local/bin/redis-cli -h 192.168.184.33 -p 7001 shutdown
/usr/local/bin/redis-cli -h 192.168.184.33 -p 7002 shutdown
/usr/local/bin/redis-cli -h 192.168.184.33 -p 7003 shutdown
/usr/local/bin/redis-cli -h 192.168.184.33 -p 7004 shutdown
/usr/local/bin/redis-cli -h 192.168.184.33 -p 7005 shutdown

三 slots

一个 Redis 集群包含 16384 个插槽(hash slot), 数据库中的每个键都属于这 16384 个插槽的其中一个,

集群使用公式 CRC16(key) % 16384 来计算键 key 属于哪个槽, 其中 CRC16(key) 语句用于计算键 key 的 CRC16 校验和 。

name 2 [0-5460]

集群中的每个节点负责处理一部分插槽。 举个例子, 如果一个集群可以有主节点, 其中:

节点 A 负责处理 0 号至 5460 号插槽。

节点 B 负责处理 5461 号至 10922 号插槽。

节点 C 负责处理 10923 号至 16383 号插槽。

1.在集群中录入值

在redis-cli每次录入、查询键值,redis都会计算出该key应该送往的插槽,如果不是该客户端对应服务器的插槽,redis会报错,并告知应前往的redis实例地址和端口。

redis-cli客户端提供了 –c 参数实现自动重定向。

如 redis-cli -c –p 7000登入后,再录入、查询键值对可以自动重定向。

批量添加

不在一个slot下的键值,是不能使用mget,mset等多键操作。

可以通过{}来定义组的概念,从而使key中{}内相同内容的键值对放到一个slot中去。(按组分配插槽)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/351101.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Ubuntu 系统如何修改时间

Ubuntu 系统如何修改时间 简介:在Ubuntu上,你可以使用以下三种方法来修改时间:date命令,timedatectl命令和hw 原文:Ubuntu 系统如何修改时间 (baidu.com)https://cloud.baidu.com/article/393621 三种方法修改Ubunt…

Linux——文本编辑器Vim

Linux中的所有内容以文件形式管理,在命令行下更改文件内容,常常会用到文本编辑器。我们首选的文本编辑器是Vim,它是一个基于文本界面的编辑工具,使用简单且功能强大,更重要的是,Vim是所有Linux发行版本的默…

husky结合commitlint审查commit信息

commintlint是一个npm包用来规范化我们的commit信息,当然这个行为的操作时期是在git的commit-msg生命周期期间,这一点当然是有husky来控制,需要注意的是commit-msg作为一个git生命周期会被git commit和git merge行为唤醒,并且可以…

03-Redis缓存高可用集群

文章目录 1、Redis集群方案比较2、Redis高可用集群搭建redis集群搭建Java操作redis集群 4、Redis集群原理分析槽位定位算法跳转重定位Redis集群节点间的通信机制gossip通信的10000端口网络抖动 Redis集群选举原理分析集群脑裂数据丢失问题集群是否完整才能对外提供服务Redis集群…

第二百八十八回

文章目录 1. 概念介绍2. 使用方法2.1 实现步骤2.2 具体细节 3. 示例代码4. 内容总结 我们在上一章回中介绍了"如何获取文件类型"相关的内容,本章回中将介绍如何播放视频.闲话休提,让我们一起Talk Flutter吧。 1. 概念介绍 播放视频是我们常用…

用Visual Studio Code创建JavaScript运行环境【2024版】

用Visual Studio Code创建JavaScript运行环境 JavaScript 的历史 JavaScript 最初被称为 LiveScript,由 Netscape(Netscape Communications Corporation,网景通信公司)公司的布兰登艾奇(Brendan Eich)在 …

Java基础—面向对象OOP—17类与对象(创建、构造器、创建对象时简单内存分析)

把握重点,重点已标注,这篇笔记分了4个章节,重点看二、三、四 一、整体思维--重点把握面向对象的本质和特点 1、面向对象编程OOP: Object-Oriented programming 2、面向过程与面向对象 面向过程:线性思维 面向对象…

[嵌入式软件][启蒙篇][仿真平台] STM32F103实现IIC控制OLED屏幕

上一篇:[嵌入式软件][启蒙篇][仿真平台] STM32F103实现LED、按键 [嵌入式软件][启蒙篇][仿真平台] STM32F103实现串口输出输入、ADC采集 [嵌入式软件][启蒙篇][仿真平台]STM32F103实现定时器 [嵌入式软件][启蒙篇][仿真平台] STM32F103实现IIC控制OLED屏幕 文章目…

有关链表的题目

目录 1.环形链表的约瑟夫问题 2.链表的中间节点 3.合并两个有序链表 4.反转链表 5.移除链表元素 1.环形链表的约瑟夫问题 环形链表的约瑟夫问题_牛客题霸_牛客网 (nowcoder.com) 思路:题目给出结构是环形链表,且题目已经定义好了环形链表的结构。 1…

MATLAB - 控制小车上的倒立摆

系列文章目录 前言 一、小车 - 摆杆 小车 - 摆杆模型如图 1 所示,使用 Simscape™ Multibody™ 在 Simulink 中建模。 图 1:小车上的倒立摆 图 2:Simscape 多体模型 该系统通过对小车施加可变力 进行控制。控制器需要在将小车移动到新位置或…

145基于matlab的求解悬臂梁前3阶固有频率和振型

基于matlab的求解悬臂梁前3阶固有频率和振型,采用的方法分别是(假设模态法,解析法,瑞利里兹法)。程序已调通,可直接运行。 145 matlab 悬臂梁 固有频率 振型 (xiaohongshu.com)

正则匹配 | 正则实际应用探索分享

这并不是一篇教正则基础的文章,其正则式不能对您进行使用后的结果负责,请以研究的眼光看待本篇文章。 技术就是懒人为了更好的懒才会想办法搞的东西,我最近因为某些原因需要频繁删除注释 我就想到通过替换的正则功能快速删除文件中的简单注…

微信小程序(十八)组件通信(父传子)

注释很详细,直接上代码 上一篇 新增内容: 1.组件属性变量的定义 2.组件属性变量的默认状态 3.组件属性变量的传递方法 解释一下为什么是父传子,因为组件是页面的一部分,数据是从页面传递到组件的,所以是父传子&#xf…

DevExpress WinForms导航控件 - 交付更时尚、体验更好的业务应用(二)

DevExpress WinForms的Side Navigation(侧边导航)和Nav Panel(导航面板)可以帮助客户交付完全可模仿UI体验的业务解决方案,这些体验在当今流行的应用程序中都可找到。在上文中(点击这里回顾>>&#x…

数据结构排序算详解(动态图+代码描述)

目录 1、直接插入排序(升序) 2、希尔排序(升序) 3、选择排序(升序) 方式一(一个指针) 方式二(两个指针) 4、堆排序(升序) 5、冒…

IP报文格式

IP报文格式 报文格式 图1 IP头格式 表1 IP头字段解释 字段长度含义Version4比特 4:表示为IPV4;6:表示为IPV6。IHL4比特首部长度,如果不带Option字段,则为20,最长为60,该值限制了记录路由选项。…

Flink问题解决及性能调优-【Flink根据不同场景状态后端使用调优】

Flink 实时groupby聚合场景操作时,由于使用的是rocksdb状态后端,发现CPU的高负载卡在rocksdb的读写上,导致上游算子背压特别大。通过调优使用hashmap状态后端代替rocksdb状态后端,使吞吐量有了质的飞跃(20倍的性能提升…

【Tomcat与网络1】史前时代—没有Spring该如何写Web服务

在前面我们介绍了网络与Java相关的问题, 最近在调研的时候发现这块内容其实非常复杂,设计的内容多而且零碎,想短时间梳理出整个体系是不太可能的,所以我们还是继续看Tomcat的问题,后面有网络的内容继续补充吧。 目录 …

简单记录一下如何安装python以及pycharm(图文教程)(可供福建专升本理工类同学使用)

本教程主要给不懂计算机的或者刚刚开始学习python的同学(福建专升本理工类)&网友学习使用,基础操作,比较详细,其他问题等待补充! 安装Python 1.进入python官网(https://www.python.org/&a…

泽众云真机-远程真机测试常见问题汇总及解决办法

泽众云真机通过网页操作接入云端的真实手机,覆盖市场海量机型,远程操控快速流畅,用户随时随地进行测试,调试应用,快速定位问题,被测应用轻松获得FPS、CPU、Memory、CTemp、Network、FrameTime等性能参数&am…