1.cluster集群原理
1.1最低需要6个节点即三主三从,每个主节点对应一个从节点
1.2数据存储采用分片存储方式,整个redis集群有16384个哈希槽,集群中的每个节点负责一部分哈希槽,现在集群中三个主节点,就会把这些哈希槽平均分配给三个主节点,即节点A存储的哈希槽范围是:0 – 5500,节点B存储的哈希槽范围是:5501 – 11000,节点C存储的哈希槽范围是:11001 – 16384,当需要扩容主节点时会将ABC的哈希槽数据提取一部分到新的主节点D上,若是删除主节点A,就需要先将A中的哈希槽数据转移到BC节点上再进行删除
1.3集群主从
为了保证集群的高可用,每个主节点都会对应一个从节点用来当作主节点的备机,当主节点宕机时集群就会提升从节点为主节点,以保证集群的正常运行,当一对主从节点都挂掉时,集群便不能正常运行,因为当一对主从节点都挂掉就会缺失了三分之一的哈希槽数据,redis的数据是不完整的
2.搭建集群
要保证集群的高可用,需要每个节点都有从节点,也就是备份节点,所以Redis集群至少需要6台服务器。因为实验那么多服务器,也启动不了那么多虚拟机,所在这里搭建的是伪分布式集群,即一台服务器虚拟运行6个redis实例,修改端口号为(6379-6384),当然实际生产环境的Redis集群搭建和这里是一样的。
2.1 下载安装包并解压
wget http://download.redis.io/releases/redis-6.0.9.tar.gz
tar -zxvf redis-6.0.9.tar.gz
mv redis-6.0.9 redis #改名redis
2. 2编译
因为redis是用c实现的,所有要进行编译操作;redis编译完成后主要的命令在src目录下
cd redis/src && make && make install
如遇报错,这是因为安装的gcc版本较低,需进行升级
升级命令
yum -y install centos-release-scl
yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils
scl enable devtoolset-9 bash
然后再次执行编译命令 make&&make install,可以看到安装成功。
2.3创建redis日志、集群配置文件、备份文件、redis配置文件存放目录
mkdir -p /etc/redis/redis-cluster-conf
2.4 创建配置文件6379-6384,(需要去掉中文注释,不然启动报错),此处只列举主从6379和6380,其它2个主从节点照例修改即可。
vi /etc/redis/redis-cluster-conf/redis6379.conf
bind 0.0.0.0
port 6379
daemonize yes
requirepass 123456
masterauth 123456 #master的密码,不配置的话主从故障切换不生效日志里会有报错
logfile /etc/redis/redis6379.log
dir /etc/redis
appendonly yes
appendfilename "appendonly6379.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes #开启aof持久化文件重写功能
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated no
cluster-enabled yes #开启cluster集群服务
cluster-config-file node6379.conf #cluster集群配置文件名称,不用写路径,默认再redis的dir路径上
cluster-node-timeout 5000 #主节点最大的失联时间5000秒
cluster-slave-validity-factor 10 #一个master有多个slave的情况下,在进行故障转移的时候全部slave都会请求申请为master,但是有些slave可能与master断开连接一段时间了导致数据过于陈旧,不应该被提升为master。该参数就是用来判断slave节点与master断线的时间是否过长
cluster-require-full-coverage yes #集群中的所有slot(16384个)全部覆盖,才能提供服务
vi /etc/redis/redis-cluster-conf/redis6379.conf
bind 0.0.0.0
port 6380
daemonize yes
requirepass 123456
masterauth 123456
logfile /etc/redis/redis6380.log
dir /etc/redis
appendonly yes
appendfilename "appendonly6380.aof"
appendfsync everysec
no-appendfsync-on-rewrite yes #开启aof持久化文件重写功能
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated no
cluster-enabled yes #开启cluster集群服务
cluster-config-file node6380.conf #cluster集群配置文件名称,不用写路径,默认再redis的dir路径上
cluster-node-timeout 5000 #主节点最大的失联时间5000秒
cluster-slave-validity-factor 10 #一个master有多个slave的情况下,在进行故障转移的时候全部slave都会请求申请为master,但是有些slave可能与master断开连接一段时间了导致数据过于陈旧,不应该被提升为master。该参数就是用来判断slave节点与master断线的时间是否过长
cluster-require-full-coverage yes #集群中的所有slot(16384个)全部覆盖,才能提供服务
2.5启动所有节点
redis/src/redis-server /etc/redis/redis-cluster-conf/redis6379.conf
redis/src/redis-server /etc/redis/redis-cluster-conf/redis6380.conf
redis/src/redis-server /etc/redis/redis-cluster-conf/redis6381.conf
redis/src/redis-server /etc/redis/redis-cluster-conf/redis6382.conf
redis/src/redis-server /etc/redis/redis-cluster-conf/redis6383.conf
redis/src/redis-server /etc/redis/redis-cluster-conf/redis6384.conf
查看redis服务端口,netstat -tlpn
16379,16380,16381,16382,16383,16384是集群的虚拟端口分别对应6379,6380,6381,6382,6383,6384
查看/etc/redis目录下会生成aof文件、cluster集群配置文件、redis日志文件、rdb文件
ls /etc/redis
2.6 创建cluster集群(IP地址排序奇数位的是主节点, -cluster-replicas 1 表示集群每个主节点分配1个从节点,-a为指定redis密码,因为配置文件中配置了redis密码,所以必须要指定否则会报错)
redis-cli --cluster create 192.168.206.129:6379 192.168.206.129:6380 192.168.206.129:6381 192.168.206.129:6382 192.168.206.129:6383 192.168.206.129:6384 --cluster-replicas 1 -a 123456
检查集群状态(可在任意节点输入集群内的任意节点地址)
redis-cli --cluster check 192.168.206.129:6379 -a 123456
接cluster集群(指定任意节点地址都可以连接到集群,-c表示连接到集群)
redis-cli -c -h 192.168.206.129 -p 6380 -a 123456
cluster info #在集群内通过此命令也可以看到集群状态
2.7 集群添加新的主节点 (按照上面创建一个端口为6385的新节点)
redis-cli --cluster add-node 新的主节点ip:port 集群任意节点ip:port -a 密码
redis-cli --cluster add-node 192.168.206.129:6385 192.168.206.129:6379 -a 123456
查看集群状态(新加入的主节点还没有分配哈希槽,前面的一段值是每个节点的id)
redis-cli -c -h 192.168.206.129 -p 6385 -a 123456
cluter nodes
将三个主节点的哈希槽分配一部分到新加入的主节点
redis-cli --cluster reshard 新的节点ip:port --cluster-from 集群主节点Aid,集群主节点Bid,集群主节点Cid --cluster-to 新加入的节点id --cluster-slots 分配的哈希槽值 -a 密码
redis-cli --cluster reshard 192.168.206.129:6385 --cluster-from fb9aee0b77e088e479d0ec5b1176e39806b163e1,9c746cda38b9ca198bf1760a351fd465d6fc743a,58319cbb4e11c055b878fcfe36cb165b79597882 --cluster-to 35e1b95b71a5f4d8f3f5077d586679c902fc1cd3 --cluster-slots 4096 -a 123456
通过cluster nodes查看集群节点可以看到新加入的master节点已经有了哈希槽
2.8 集群添加新的从节点(按照上面创建端口为6386的新节点)
redis-cli --cluster add-node --cluster-slave 新的从节点ip:port 集群任意节点的ip:port --cluster-master-id 指定加入的master节点id -a 密码
redis-cli --cluster add-node --cluster-slave 192.168.206.129:6386 192.168.206.129:6385 --cluster-master-id 35e1b95b71a5f4d8f3f5077d586679c902fc1cd3 -a 123456
2.9 删除集群某个slave节点
redis-cli --cluster del-node 删除的slave节点ip:port 删除的slave节点id -a 密码
redis-cli --cluster del-node 192.168.206.129:6386 5066334fbee82bd6959dc90723ff7b03d8b0d326 -a 123456
删除集群的某个master节点(现在是四个节点每个节点哈希槽值为4096,将此哈希槽数值平均分配给其它三个节点,重复下面这个操作步骤即可,分配数量分别为1366、1365、1365)
redis-cli --cluster reshard 接收删除节点哈希槽数据的节点ip:port -a 密码
redis-cli --cluster reshard 192.168.206.129:6379 -a 123456
3.0 删除主节点
redis-cli --cluster del-node 192.168.206.129:6379 fb9aee0b77e088e479d0ec5b1176e39806b163e1-a 123456
当清空了一个master的哈希槽值时,cluster集群就会自动将其对应的slave挂载到其他master上去
3.1 平衡各个节点的槽位数
redis-cli --cluster rebalance 集群任意节点ip:port
redis-cli --cluster rebalance 192.168.206.129:6379