Redis cluster集群搭建

1.cluster集群原理

1.1最低需要6个节点即三主三从,每个主节点对应一个从节点

1.2数据存储采用分片存储方式,整个redis集群有16384个哈希槽,集群中的每个节点负责一部分哈希槽,现在集群中三个主节点,就会把这些哈希槽平均分配给三个主节点,即节点A存储的哈希槽范围是:0 – 5500,节点B存储的哈希槽范围是:5501 – 11000,节点C存储的哈希槽范围是:11001 – 16384,当需要扩容主节点时会将ABC的哈希槽数据提取一部分到新的主节点D上,若是删除主节点A,就需要先将A中的哈希槽数据转移到BC节点上再进行删除

1.3集群主从

为了保证集群的高可用,每个主节点都会对应一个从节点用来当作主节点的备机,当主节点宕机时集群就会提升从节点为主节点,以保证集群的正常运行,当一对主从节点都挂掉时,集群便不能正常运行,因为当一对主从节点都挂掉就会缺失了三分之一的哈希槽数据,redis的数据是不完整的

2.搭建集群

要保证集群的高可用,需要每个节点都有从节点,也就是备份节点,所以Redis集群至少需要6台服务器。因为实验那么多服务器,也启动不了那么多虚拟机,所在这里搭建的是伪分布式集群,即一台服务器虚拟运行6个redis实例,修改端口号为(6379-6384),当然实际生产环境的Redis集群搭建和这里是一样的。

2.1 下载安装包并解压

wget http://download.redis.io/releases/redis-6.0.9.tar.gz

tar -zxvf  redis-6.0.9.tar.gz

mv redis-6.0.9 redis  #改名redis

2. 2编译

因为redis是用c实现的,所有要进行编译操作;redis编译完成后主要的命令在src目录下

cd redis/src && make && make install

 如遇报错,这是因为安装的gcc版本较低,需进行升级

升级命令

yum -y install centos-release-scl

yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils

scl enable devtoolset-9 bash

然后再次执行编译命令 make&&make install,可以看到安装成功。

2.3创建redis日志、集群配置文件、备份文件、redis配置文件存放目录 

mkdir -p /etc/redis/redis-cluster-conf

2.4 创建配置文件6379-6384,(需要去掉中文注释,不然启动报错),此处只列举主从6379和6380,其它2个主从节点照例修改即可。

 vi /etc/redis/redis-cluster-conf/redis6379.conf

bind 0.0.0.0
port 6379      
daemonize yes
requirepass 123456
masterauth 123456 #master的密码,不配置的话主从故障切换不生效日志里会有报错
logfile /etc/redis/redis6379.log
dir /etc/redis
appendonly yes
appendfilename "appendonly6379.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes  #开启aof持久化文件重写功能
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated no
cluster-enabled yes   #开启cluster集群服务
cluster-config-file node6379.conf  #cluster集群配置文件名称,不用写路径,默认再redis的dir路径上
cluster-node-timeout 5000  #主节点最大的失联时间5000秒
cluster-slave-validity-factor 10  #一个master有多个slave的情况下,在进行故障转移的时候全部slave都会请求申请为master,但是有些slave可能与master断开连接一段时间了导致数据过于陈旧,不应该被提升为master。该参数就是用来判断slave节点与master断线的时间是否过长
cluster-require-full-coverage yes   #集群中的所有slot(16384个)全部覆盖,才能提供服务

vi /etc/redis/redis-cluster-conf/redis6379.conf 

bind 0.0.0.0
port 6380    
daemonize yes
requirepass 123456
masterauth 123456
logfile /etc/redis/redis6380.log
dir /etc/redis
appendonly yes
appendfilename "appendonly6380.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes  #开启aof持久化文件重写功能
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated no
cluster-enabled yes   #开启cluster集群服务
cluster-config-file node6380.conf  #cluster集群配置文件名称,不用写路径,默认再redis的dir路径上
cluster-node-timeout 5000  #主节点最大的失联时间5000秒
cluster-slave-validity-factor 10  #一个master有多个slave的情况下,在进行故障转移的时候全部slave都会请求申请为master,但是有些slave可能与master断开连接一段时间了导致数据过于陈旧,不应该被提升为master。该参数就是用来判断slave节点与master断线的时间是否过长
cluster-require-full-coverage yes   #集群中的所有slot(16384个)全部覆盖,才能提供服务

 2.5启动所有节点

redis/src/redis-server /etc/redis/redis-cluster-conf/redis6379.conf

redis/src/redis-server /etc/redis/redis-cluster-conf/redis6380.conf

redis/src/redis-server /etc/redis/redis-cluster-conf/redis6381.conf

redis/src/redis-server /etc/redis/redis-cluster-conf/redis6382.conf

redis/src/redis-server /etc/redis/redis-cluster-conf/redis6383.conf

redis/src/redis-server /etc/redis/redis-cluster-conf/redis6384.conf

查看redis服务端口,netstat -tlpn

16379,16380,16381,16382,16383,16384是集群的虚拟端口分别对应6379,6380,6381,6382,6383,6384 

查看/etc/redis目录下会生成aof文件、cluster集群配置文件、redis日志文件、rdb文件

ls /etc/redis

2.6 创建cluster集群(IP地址排序奇数位的是主节点, -cluster-replicas 1 表示集群每个主节点分配1个从节点,-a为指定redis密码,因为配置文件中配置了redis密码,所以必须要指定否则会报错) 

redis-cli --cluster create 192.168.206.129:6379 192.168.206.129:6380  192.168.206.129:6381 192.168.206.129:6382 192.168.206.129:6383 192.168.206.129:6384 --cluster-replicas 1 -a 123456

检查集群状态(可在任意节点输入集群内的任意节点地址) 

redis-cli --cluster check 192.168.206.129:6379 -a 123456 

接cluster集群(指定任意节点地址都可以连接到集群,-c表示连接到集群) 

redis-cli -c -h 192.168.206.129 -p 6380 -a 123456

cluster info #在集群内通过此命令也可以看到集群状态

2.7 集群添加新的主节点 (按照上面创建一个端口为6385的新节点)

redis-cli --cluster add-node 新的主节点ip:port 集群任意节点ip:port -a 密码

redis-cli --cluster add-node 192.168.206.129:6385 192.168.206.129:6379 -a 123456

查看集群状态(新加入的主节点还没有分配哈希槽,前面的一段值是每个节点的id)

redis-cli -c -h 192.168.206.129 -p 6385 -a 123456

cluter nodes

将三个主节点的哈希槽分配一部分到新加入的主节点

redis-cli --cluster reshard 新的节点ip:port --cluster-from 集群主节点Aid,集群主节点Bid,集群主节点Cid --cluster-to 新加入的节点id --cluster-slots 分配的哈希槽值 -a 密码

redis-cli --cluster reshard 192.168.206.129:6385 --cluster-from fb9aee0b77e088e479d0ec5b1176e39806b163e1,9c746cda38b9ca198bf1760a351fd465d6fc743a,58319cbb4e11c055b878fcfe36cb165b79597882 --cluster-to 35e1b95b71a5f4d8f3f5077d586679c902fc1cd3 --cluster-slots 4096 -a 123456

 通过cluster nodes查看集群节点可以看到新加入的master节点已经有了哈希槽

2.8 集群添加新的从节点(按照上面创建端口为6386的新节点)

redis-cli --cluster add-node --cluster-slave 新的从节点ip:port 集群任意节点的ip:port --cluster-master-id 指定加入的master节点id -a 密码

redis-cli --cluster add-node --cluster-slave 192.168.206.129:6386 192.168.206.129:6385 --cluster-master-id 35e1b95b71a5f4d8f3f5077d586679c902fc1cd3 -a 123456

2.9 删除集群某个slave节点

redis-cli --cluster del-node 删除的slave节点ip:port 删除的slave节点id -a 密码

redis-cli --cluster del-node 192.168.206.129:6386 5066334fbee82bd6959dc90723ff7b03d8b0d326 -a 123456

删除集群的某个master节点(现在是四个节点每个节点哈希槽值为4096,将此哈希槽数值平均分配给其它三个节点,重复下面这个操作步骤即可,分配数量分别为1366、1365、1365)

redis-cli --cluster reshard 接收删除节点哈希槽数据的节点ip:port -a 密码

redis-cli --cluster reshard 192.168.206.129:6379 -a 123456

3.0 删除主节点 

redis-cli --cluster del-node 192.168.206.129:6379 fb9aee0b77e088e479d0ec5b1176e39806b163e1-a 123456

当清空了一个master的哈希槽值时,cluster集群就会自动将其对应的slave挂载到其他master上去

3.1 平衡各个节点的槽位数

redis-cli --cluster rebalance 集群任意节点ip:port

redis-cli --cluster rebalance 192.168.206.129:6379

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/406558.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

VR系统的开发流程

虚拟现实(Virtual Reality,VR)系统是一种通过计算机技术模拟出的具有三维视角和交互性的虚拟环境,使用户能够沉浸在其中并与虚拟环境进行交互。这种技术通常利用头戴式显示器和手柄等设备,使用户能够感觉到仿佛身临其境…

Elasticsearch:基于 Langchain 的 Elasticsearch Agent 对文档的搜索

在今天的文章中,我们将重点介绍如何使用 LangChain 提供的基础设施在 Python 中构建 Elasticsearch agent。 该 agent 应允许用户以自然语言询问有关 Elasticsearch 集群中数据的问题。 Elasticsearch 是一个强大的搜索引擎,支持词法和向量搜索。 Elast…

C 嵌入式系统设计模式 11:观察者模式

本书的原著为:《Design Patterns for Embedded Systems in C ——An Embedded Software Engineering Toolkit 》,讲解的是嵌入式系统设计模式,是一本不可多得的好书。 本系列描述我对书中内容的理解。本文章描述访问硬件的设计模式之四&…

VSCODE include错误 找不到 stdio.h

解决办法: Ctrl Shift P 打开命令面板, 键入 “Select Intellisense Configuration”(下图是因为我在写文章之前已经用过这个命令,所以这个历史记录出现在了第一行) 再选择“Use gcc.exe ”(后面的Foun…

C# If与Switch的区别

在 switch 语句中使用表达式比较时,编译器会生成一个查找表,其中包含所有表达式的值和对应的 case 标签。因此,与使用常量或字面量比较相比,使用表达式比较可能会略微降低性能。 只有当 switch 语句中的所有 case 标签都使用常量或…

Linux快速修改ip地址

Linux修改IP配置 一 、查找ip配置文件 ifcfg-ens33二、编辑 vi ifcfg-ens33文件三、重启网络或者重启系统 一 、查找ip配置文件 ifcfg-ens33 cd /etc/sysconfig/network-scripts/ls //查看network-scripts文件夹下面的文件二、编辑 vi ifcfg-ens33文件 vi ifcfg-ens33注意&…

反序列化 [NPUCTF2020]ReadlezPHP1

打开题目 直接查看源代码 打开源代码发现了个./time.php?source 访问一下 审计代码: 现存在反序列化语句:$ppp unserialize($_GET["data"]);和执行漏洞:echo $b($a); 发现在__destruct()方法里面有 echo $b($a); 这个是php的…

用6点结构标定5点结构的顺序

( A, B )---6*30*2---( 1, 0 )( 0, 1 ) 让网络的输入只有6个节点,AB训练集各由6张二值化的图片组成,A的6张图片共有5个点,B全是0.收敛误差7e-4,收敛199次,统计迭代次数平均值并排序。 如果使行和列自由变换&#xff0…

Sora是什么?

文章目录 前言Sora是什么?功能特色优点 缺点Sora模型的工作原理如何使用Sora模型Sora模型的应用场景Sora模型带来的问题虚假信息版权问题 后记 前言 Sora是美国人工智能研究公司OpenAI发布的一款令人惊叹的人工智能文生成视频大模型。近年来,人工智能技…

《凤凰架构》 -分布式事务章节 读书笔记

分布式事务严谨的定义:分布式环境下的事务处理机制 CAP定理:在一个分布式系统中,涉及共享数据问题时,以下三个特性最多只能同时满足两个 一致性:代表数据在任何时刻、任何分布式节点中看到的都是符合预期的&#xff0…

SpringBoot-2.7.6基于SLF4J日志门面的日志框架切换

SpringBoot 没有强制性的日志记录依赖项,但 Commons Logging API 除外,它通常由 Spring Framework 的模块提供。 要使用 Logback,您需要将其包含在类路径中。 推荐的方法是您只需要通过启动器,这都取决于 . 对于 Web 应用程序 ,因为它可传递地依赖于日志记录启动器。 如果…

持续集成,持续交付和持续部署的概念,以及GitLab CI / CD的介绍

引言:上一期我们部署好了gitlab极狐网页版,今天我们介绍一下GitLabCI / CD 目录 一、为什么要 CI / CD 方法 1、持续集成 2、持续交付 3、持续部署 二、GitLab CI / CD简介 三、GitLab CI / CD 的工作原理 4、基本CI / CD工作流程 5、首次设置 …

ELK入门(三)-Kibana

Kibana Kibana是一个开源的分析与可视化平台,设计出来用于和Elasticsearch一起使用的。你可以用kibana搜索、查看存放在Elasticsearch中的数据。Kibana与Elasticsearch的交互方式是各种不同的图表、表格、地图等,直观的展示数据,从而达到高级…

让C语言代码变抽象(二)

目录 前言: 代码: 前言: 在今天写代码的时候,我又想到一个更抽象的代码。 我在写注释的时候突然想想到条件编译的东西,好像也能用来注释东西。 代码: 我们在这直接上干货 我们知道在条件编译中有一个叫…

鸿蒙开发-DevEcoStudio的安装及使用

DevEcoStudio的安装及使用 前言 DevEcoStudio分为两个版本,分别用于HarmonyOS和OpenHarmony开发,截止文档编写时,用于开发HarmonyOS的DevEcoStudio版本为3.1.1,适用于OpenHarmony的DevEcoStudio版本为4.0.0。 接下来的文档是基…

React18源码: schedule任务调度messageChannel

React调度原理(scheduler) 在React运行时中,调度中心(位于scheduler包)是整个React运行时的中枢(其实是心脏),所以理解了scheduler调度,就基本掌握了React的核心React两大循环:从宏…

年关将至送大礼 社区适时献爱心

在这个快节奏的时代,社区作为人们生活的重要组成部分,其凝聚力和互助精神显得尤为重要。2024年2月7日,实践队员李若钰有幸参与了社区礼盒分装的活动,这不仅仅是一次简单的劳动,更是一次心灵的洗礼和感悟。 礼盒分装&am…

HTML5和CSS3提高

一、HTML5的新特性 增加了一些新的标签,新的表单,新的表单属性,IE9以上版本的浏览器才支持 注意: 这些语义化标准主要针对搜索引擎的 新标签可以使用多次 在IE9中需要把这些元素转化为块级元素 新增的多媒体标签 主要包含两个…

Java JDBC:林浩然与杨凌芸的编程奇缘

Java JDBC:林浩然与杨凌芸的编程奇缘 Java JDBC: The Programming Odyssey of Lin Haoran and Yang Lingyun 在那个充满二进制和算法符号的世界里,我们的男主角林浩然,一个热爱Java的码农新秀,正准备踏上他的JDBC探险之旅。他那双…

【vscode】按F5无法执行调试python或go

原因: 找不到解析器,需要安装插件(python,或go 等) 安装插件后,还是无法执行,按 ctrlshiftp,看不到解析器 正常应该是: 解决方法: 1、判断python是否安装成功 pyth…