redis集群-主从复制

目录

    • 一、主从复制概念
    • 二、单机安装Redis
      • 2.1、安装 Redis 需要的软件 gcc 和 tcl
      • 2.2、上传Redis压缩包
      • 2.3、编辑 redis.conf 文件
      • 2.4、执行安装 Redis 命令
      • 2.5、注意防火墙配置
    • 三、主从复制 - 环境搭建
      • 3.1、配置一个 master 节点，两个 slave 节点
      • 3.2、配置 redis6379.conf (master)
      • 3.3、配置 redis6380.conf（slave）、redis6381.conf（slave）
      • 3.4、基本操作命令
        • 3.4.1、info replication
        • 3.4.2、slaveof 192.168.56.105 6380
    • 四、常用三招
      • 4.1、一主二仆
        • 4.1.1、方案1 配置文件指定主机从机
          • 4.1.1.1、配置两个从机 redis6380.conf 和 redis6381.conf
          • 4.1.1.2、依次启动
          • 4.1.1.3、主从关系查看
        • 4.1.2、方案2 命令操作手动指定（这种方式重启之后就无效了）
      • 4.2、薪火相传
      • 4.3、反客为主
    • 五、复制原理
      • 5.1、全量同步（第一次连接或偏移量超出back_log缓冲区）
      • 5.2、增量同步（非第一次）
      • 5.3、复制原理整体概述
      • 5.4、主从复制的缺点

一、主从复制概念

  1. 概念：主从复制，是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(Master/Leader),后者称为从节点(Slave/Follower)数据的复制是单向的!只能由主节点复制到从节点(主节点以写为主、从节点以读为主)
  2. 默认情况下,每台Redis服务器都是主节点,一个主节点可以有0个或者多个从节点,但每个从节点只能有一个主节点
  3. 主从复制作用
    1. 读写分离,性能扩展(主节点负责写入、从节点负责读取)
    2. 容灾快速恢复(一般建议配置一主多从的方式、当从服务器A出现问题,可以快速切换到从服务器B)
    3. 如果当主服务器出现问题呢？这个时候可以配置一主多从集群模式A、B,A、B之间建立某种联系,当主A出现问题,马上可以切换到主B

image.png

二、单机安装Redis

2.1、安装 Redis 需要的软件 gcc 和 tcl

安装 gcc ：

yum install gcc

安装 tcl :

yun install tcl

image.png
image.png

2.2、上传Redis压缩包

image.png

解压缩文件：

tar -zxvf redis-6.2.4.tar.gz

image.png

2.3、编辑 redis.conf 文件

  1. 修改端口号，设置任意 IP 都可以访问
    1. image.png
  2. 给 Redis 设置密码（在后续有配置）

2.4、执行安装 Redis 命令

进入到 redis 解压目录 ，执行命令

make && make install

# 启动命令
redis-server redis.conf

# 使用redis-cli连接redis
# -p 指定连接的端口号
redis-cli -p 6379

# 指定 redis
redis-cli shutdown
# 需要密码认证 redis 是密码
redis-cli -a redis shutdown

# 在 redis-cli 中 输入 也可以关闭 Redis
shutdown

Ctril + c

关闭命令：image.png
安装成功的结果：
image.png

2.5、注意防火墙配置

启动： systemctl start firewalld
关闭： systemctl stop firewalld
查看状态： systemctl status firewalld 
开机禁用  ： systemctl disable firewalld
开机启用  ： systemctl enable firewalld
    
添加 ：firewall-cmd --zone=public --add-port=80/tcp --permanent    （--permanent永久生效，没有此参数重启后失效）
重新载入： firewall-cmd --reload
查看： firewall-cmd --zone= public --query-port=80/tcp
删除： firewall-cmd --zone= public --remove-port=80/tcp --permanent

三、主从复制 - 环境搭建

image.png

**注意：**第 11 步，是从机需要配的，主机不需要配置；（前10步是主从都需要配置的；）

3.1、配置一个 master 节点，两个 slave 节点

备份好redis.conf文件;
复制文件的命令：

# 拷贝命令
cp redis-6.2.4/redis.conf redis.conf

# 重命名文件名
mv redis.conf redis6379.conf

# 查看关于redis正在运行的进程
ps -ef | grep redis

操作中包括这三个配置文件：redis6379.conf（master）、redis6380.conf （slave）、redis6381.conf （slave）

3.2、配置 redis6379.conf (master)

image.png

  1. 开启 daemonize yes

daemonize yes:以守护进程的方式运行,默认是 no,我们需要自己开启为yes,如果以后台的方式运行,我们就需要指定一个 pid 文件! pidfile /var/run/redis_6379.pid
image.png

**注意：**如果以后台的方式运行,我们就需要指定一个 pid 文件!

  1. 注释点 bind 127.0.0.1 或者 改为 bind 0.0.0.0

#bind 127.0.0.1 //不绑定任何网络接口，只连接本地
image.png

  1. 关闭 Redis 保护 protected-mode no

protected-mode:yes 是否开启保护模式,Redis默认开启,如果没有设置bind的IP地址和Redis密码,那么服务就会默认只能在本机运行
1.保护你的redis实例，防止被访问和利用
2.大白话：只有本地才能操作这个实例，外网不行
image.png

  1. 指定端口号 port 6379

image.png

  1. 指定当前工作目录 dir

持久化文件保存的目录,默认保存在当前目录下
dir /root/redis/work # 这个配置会将该appendfilename "appendonly.aof"这种配置的文件名写到/root/redis/work这个目录下
image.png

  1. pid 文件名字 pidfile

image.png

  1. log 文件名字 logfile

image.png

  1. 设置redis 密码

image.png

  1. 指定 rdb 持久化的文件名

image.png

  1. 开启 AOF 持久化

1.appendonly是一个用于配置是否开启AOF（Append Only File）持久化方式的参数。
2.默认情况下，appendonly的值为no，表示未启用AOF。
3.AOF持久化是一种将写操作追加到文件末尾的方式，它记录了所有对Redis数据集的写操作命令。通过启用AOF，Redis可以在重新启动时根据AOF文件的内容来恢复数据集。如果您希望启用AOF持久化方式，可以通过编辑redis.conf文件来完成。找到名为appendonly的行，并将其值修改为yes
image.png

  1. 开启 logo （非必须）

开启这个配置，在日志文件中会打印 Redis 图像
image.png
展示：
image.png

3.3、配置 redis6380.conf（slave）、redis6381.conf（slave）

配置完 3.2 十个步骤之后，这两个文件需要另外配置 要连接的主节点的 ip ，端口 ,密码；

  1. 从机配置上主机的ip、端口

image.png

  1. 配置主节点的redis密码

image.png

3.4、基本操作命令

# 查看复制节点的主从关系和配置信息
info replication 

# replicaof/slaveof 这两个一样，一般写入进 redis.conf 配置文件内，
# 在运行期间修改slave节点的信息，如果该数据库已经某个数据库的从数据库，
# 那么会停止和原主数据库的同步关系转而和新的主数据库同步
replicaof/slaveof 主库IP 主库端口

# 使当前数据库停止与其他数据库的同步，升级为主数据库
replicaof/slaveof no one
3.4.1、info replication

主节点：
image.png
从节点：
image.png

3.4.2、slaveof 192.168.56.105 6380

6381 这个执行 slaveof 语句
切换主节点 到 6380 的情况
执行命令之后 6381的状态：
image.png
执行命令之后 6380的状态：
image.png

四、常用三招

4.1、一主二仆

4.1.1、方案1 配置文件指定主机从机
4.1.1.1、配置两个从机 redis6380.conf 和 redis6381.conf

设置主机IP、端口、和redis密码；
image.png

4.1.1.2、依次启动
redis6379.conf
  	redis-server /root/redis/redis6379.conf
  	redis-cli -a redis -p 6379
    
redis6380.conf
  	redis-server /root/redis/redis6380.conf
  	redis-cli -a redis -p 6380
    
redis6381.conf
  	redis-server /root/redis/redis6381.conf
    redis-cli -a redis -p 6380
4.1.1.3、主从关系查看
  1. 日志查看
    1. 主机

image.png
b. 从机（以一台为例）
image.png

  1. 命令查看

info replication

  1. 主机
     1. ![image.png](https://cdn.nlark.com/yuque/0/2023/png/23025291/1700126641408-cced335d-6138-48cc-a5b8-47606f38f9fc.png#averageHue=%23272523&clientId=ud9eea62a-1954-4&from=paste&height=266&id=ev4b6&originHeight=332&originWidth=689&originalType=binary&ratio=1.25&rotation=0&showTitle=false&size=34365&status=done&style=none&taskId=ub2223183-5389-499b-a10e-24bffe077b5&title=&width=551.2)
  2. 从机
     1. ![image.png](https://cdn.nlark.com/yuque/0/2023/png/23025291/1700126670214-b6ac1adc-694b-4372-a820-57c0b89c1588.png#averageHue=%23262422&clientId=ud9eea62a-1954-4&from=paste&height=365&id=CDnXb&originHeight=456&originWidth=605&originalType=binary&ratio=1.25&rotation=0&showTitle=false&size=39514&status=done&style=none&taskId=uce2bf93b-819e-4879-a445-1e2776352f6&title=&width=484)
4.1.2、方案2 命令操作手动指定（这种方式重启之后就无效了）

手动指定的配置：
https://tangzhi.blog.csdn.net/article/details/126686223

4.2、薪火相传

  • 上一个slave可以是下一个slave的master，slave同样可以接收其他slaves的连接和同步请求，那么该slave作为了链条中下一个的master，可以有效减轻主master的写压力
  • 中途变更转向：会清除之前的数据，重新建立拷贝最新的
  • slaveof/replicaof 新主库IP 新主库端口

4.3、反客为主

  • slaveof/replicaof no one 使当前数据库停止与其他数据库的同步，转成主数据库

五、复制原理

5.1、全量同步（第一次连接或偏移量超出back_log缓冲区）

第一次连接全量同步的情况：image.png
复制偏移量超出 back_log 缓冲区，进行全量同步的情况：

  • rpid : 数据集 id
  • offset : 复制偏移量（replication offset）
  • 与第一次连接全量同步的差别为，slave 节点在第一次发送请求时，发送的是 数据集id (rpid) 和 offset (复制偏移量)；

image.png

  • Redis 通过同步（sync）和指令传播（command propagate）两个操作完成同步；
  • 同步（sync）：将从节点的数据库状态更新至与主节点的数据库状态一直的操作；

而全量同步，是发生在下面这两个时间节点的：

  1. 当 slave 节点第一次连接 master 节点时，会进行全量同步；
  2. 当 slave 节点断开时间过长，back_log 中的 offset 已经被覆盖了，会进行全量同步；
    1. back_log 的结构是一个环形缓冲区，用来存储主节点向从节点传递的命令，它的大小是固定的，可存储的命令有限，超出的部分将会被删除；从而导致上边的第二点；
      1. image.png

全量同步大概有以下三个阶段：

  1. 阶段一：slave 从节点 通过 replicaof/slaveof 命令与master节点建立连接
    1. slave 节点发送同步请求（SYNC指令）；
    2. master 节点收到同步请求（SYNC指令），判断 slave 节点是不是第一次同步；
    3. 如果是第一次同步，则返回master节点的版本信息；进行slave节点的初始化；
  2. 阶段二：master节点进行数据持久化，并发送给slave节点
    1. master 节点执行 bgsave ,生成 RDB 文件；
      1. 在生成 RDB 文件期间，还会记录下该期间执行的所有命令，记录在back_log里面；
    2. master 节点把生成的 RDB 文件，发送给 slave 节点；
    3. slave 节点会先清空本地的数据，然后根据 RDB 文件加载数据；
  3. 阶段三：把在生成 RDB 文件期间执行的命令(back_log) 发送给 slave 节点；
    1. master 节点 将 生成RDB文件期间执行的命令 (存储在 back_log文件中)，发送给 slave节点；
    2. slave 节点执行 back_log 中的命令，同时修改偏移量 (replication offset);

注意：
在Redis的主从复制中，当从节点连接到主节点并请求进行复制时，主节点会返回给从节点版本信息，其中包括以下内容：

  1. Redis 服务器的版本信息：主节点会向从节点发送自己的Redis服务器版本信息，包括主节点正在运行的Redis版本号。
  2. 主节点的复制偏移量（replication offset）：这是指主节点当前数据库中最后一次执行的命令的复制偏移量，从节点将会使用这个偏移量来进行部分同步（PSYNC）操作，以便快速地获取到主节点数据的副本。

从节点在接收到主节点的版本信息之后，将会使用这些信息来进行初始化同步或部分重同步，以确保从节点与主节点的数据一致性。

5.2、增量同步（非第一次）

image.png
image.png

发生增量同步的时间节点：

  • slave 节点断开又恢复了，且断开的时间短（在master节点的 back_log 文件中能够找到 复制偏移量（replication offset）的时候）【如果在找不到复制偏移量的话则会执行全量复制】；

增量同步有两个阶段：

  1. 第一阶段：slave 阶段重启，重新连接master节点
    1. slave 节点重新连接 master 节点后，会向master 节点发送 数据集id(rpid), 偏移量(offset)
    2. master 节点判断 数据集id(rpid) 是否相同；
    3. 如果数据集相同，则说明不是第一访问，恢复给 slave 节点 continue ；
  2. 第二阶段：同步数据 （对比 back_log 抽象图）
    1. master 节点去back_log中获取slave节点宕机后执行的命令（通过比对 slave节点传过来的 offset ）
    2. master 节点向 slave 节点发送，offset 之后的命令；
    3. slave 节点执行命令，保证数据一致性；

5.3、复制原理整体概述

  1. slave 启动，同步初请
    • slave 启动成功连接到 master 后会发送一个 sync 命令
    • slave 首次全新连接 master ，一次完全同步（全量复制）将被自动执行，slave 自身原有数据会被master 数据覆盖清除；
  2. 首次连接，全量复制
    • master节点收到sync命令后会在后台开始保存快照（即RDB持久化，主从复制会触发RDB），同时收集所有接收到的用于修改数据集命令缓存起来，master节点执行RDB持久化后，master将rdb快照文件和缓存的命令发送到所有slave，已完成一次完全同步
    • 而slave服务在接收到数据库文件数据后，将其存盘并加载到内存中，从而完成复制初始化
  3. 心跳持续，保持通信
    • repl-ping-replica-period 10
    • master发出PING包的周期，默认是10秒
  4. 进入平稳，增量复制
    • master 继续将新的所有收集到的修改命令自动一次传给slave，完成同步
  5. 从机下线，重连续传
    • master 会检查backlog里面的offset，master和slave都会保存一个复制的offset 还有一个masterId
    • offset 是保存在backlog 中的。master只会把已经复制的offset后面的数据赋值给slave，类似断电续传

5.4、主从复制的缺点

  1. 复制延时，信号衰减
    1. 由于所有的写操作都是先在Master上操作，然后同步更新到Slave上，所以从Master同步到Slave机器有一定的延迟，当系统很繁忙的时候，延迟问题会更加严重，Slave机器数量的增加也会使这个问题更加严重。

image.png

  1. master挂了
    1. 默认情况下不会在slave节点自动重选一个master
    2. 需要人工干预

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/160626.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

数组的访问

数组的访问

注意：如果一个数组对象指向null，那么该数组对象中不存储任何地址。 这时使用System.out.println(a); System.out.println(a[0]);会出现空指针报错
阅读更多...
SHELL中的循环语句

SHELL中的循环语句

快捷查看指令 ctrlf 进行搜索会直接定位到需要的知识点和命令讲解（如有不正确的地方欢迎各位小伙伴在评论区提意见，博主会及时修改） 循环结构 连续出现的功能性代码 shell循环有四种: while 条件成立,循环就开始 直到循环条件不满足或者跳出…
阅读更多...
Vatee万腾科技引领创新潮流：Vatee数字化探索的前沿之光

Vatee万腾科技引领创新潮流：Vatee数字化探索的前沿之光

在Vatee万腾科技引领创新潮流的浪潮中，我们见证了一场数字化探索的前沿之光。Vatee万腾以其卓越的科技实力和创新精神，成为数字化时代的领军者，为创新潮流注入了强大动力。 Vatee万腾积极探索数字化的前沿，不断挑战科技的极限。他…
阅读更多...
2023-11-18 Android Linux资源限制命令 ulimit，比如ulimit -d 是设置进程占用的最大数据段大小，默认是unlimited。

2023-11-18 Android Linux资源限制命令 ulimit，比如ulimit -d 是设置进程占用的最大数据段大小，默认是unlimited。

一、通过ulimit -a 命令可以查看当前的各种资源限制，比如ulimit -d 是 进程占用的最大数据段大小。 # ulimit -a -t: time(cpu-seconds) unlimited -f: file(blocks) unlimited -c: coredump(blocks) 0 -d: data(KiB) unlimited -s:…
阅读更多...
VS2022 配置 OpenCV并开始第一个程序

VS2022 配置 OpenCV并开始第一个程序

VS2022安装 首先下载 VisualStudioSetup.exe 下载连接：Visual Studio 2022 IDE - 适用于软件开发人员的编程工具 点击上面的链接即可进入到下载页面。进入到下载页面，可看到有几个版本可选，如下： 我选择的是企业版：E…
阅读更多...
Angular菜单项激活状态保持

Angular菜单项激活状态保持

菜单项激活状态保持 需求描述详细需求 解决方案 需求描述 如果有个需求，让你实现一个导航栏，点击不同菜单，图表会有不同变化，页面刷新后，该菜单状态仍旧保持，实现方法如下： 例图，有…
阅读更多...
机器人走迷宫问题

机器人走迷宫问题

题目 1.房间有XY的方格组成，例如下图为64的大小。每一个方格以坐标(x,y) 描述。 2.机器人固定从方格(0, 0)出发，只能向东或者向北前进，出口固定为房间的最东北角，如下图的 方格(5,3)。用例保证机器人可以从入口走到出口。 3.房间…
阅读更多...
若依中脱敏

若依中脱敏

SpringBoot使用自定义注解实现返回数据脱敏操作 在实际项目中，对于敏感数据的保护十分重要，数据脱敏又称数据去隐私化或数据变形，是在给定的规则、策略下对敏感数据进行变换、修改的技术机制，能够在很大程度上解决敏感数据在非可…
阅读更多...
【Linux】进程间是这样通信的--管道篇

【Linux】进程间是这样通信的--管道篇

TOC 目录 进程间通信的介绍 进程间通信的概念 进程间通信的目的 进程间通信的本质 进程间通信的分类 管道 什么是管道 匿名管道 pipe函数 匿名管道使用步骤 管道读写规则 管道的特点 1、管道内部自带同步与互斥机制 2、管道的生命周期随进程 3、管道提供的是流式…
阅读更多...
【MATLAB源码-第82期】基于matlab的OFDM系统载波频移偏差(CFO)估计，对比三种不同的方法。

【MATLAB源码-第82期】基于matlab的OFDM系统载波频移偏差(CFO)估计，对比三种不同的方法。

操作环境： MATLAB 2013b 1、算法描述 正交频分复用（OFDM）系统中的载波频率偏移（CFO）估计是一项关键技术，用于确保数据传输的准确性和效率。CFO通常由于振荡器频率不匹配和多普勒频移引起。不同的CFO估计…
阅读更多...
分布式服务与分布式框架

分布式服务与分布式框架

分布式副武其实就是根据某个粒度，将服务拆分，而分布式框架就是将这些服务协调，管理起来。分布式框架，我认为服务调用是他的基础能力，该能力是所有分布式框架的基础能力，其次是服务注册与发现。 在这个维度…
阅读更多...
springboot项目yml文件中使用${}配置

springboot项目yml文件中使用${}配置

1、传统写法 （1）配置服务启动端口 # 服务端口 server:port: 9898 （2）使用idea启动 （3）使用jar包启动 2、使用${}写法 格式：${自定义参数名:默认值} 作用： 项目启动时动态配置变量…
阅读更多...
【计算机基础】优雅的PPT就应该这样设计

【计算机基础】优雅的PPT就应该这样设计

📢：如果你也对机器人、人工智能感兴趣，看来我们志同道合✨ 📢：不妨浏览一下我的博客主页【https://blog.csdn.net/weixin_51244852】 📢：文章若有幸对你有帮助，可点赞 👍…
阅读更多...
DevSeo Studio设置中文界面

DevSeo Studio设置中文界面

安装好DevSeo Studio后默认打开是欢迎页。 左下角Configure点击展开，选择plugins 弹出页面选择“installed”,然后输入chinese,默认是关闭的，点击enable将它启用，然后点击OK。 弹出页面点击“restart”重启即可。
阅读更多...
2023年优化算法之之霸王龙优化算法(TROA)，原理公式详解，附matlab代码

2023年优化算法之之霸王龙优化算法(TROA)，原理公式详解，附matlab代码

霸王龙优化算法（Tyrannosaurus optimization，TROA）是一种新的仿生优化算法，该算法模拟霸王龙的狩猎行为，具有搜索速度快等优势。该成果于2023年发表在知名SCI期刊e-Prime-Advances in Electrical Engineering, Electro…
阅读更多...
基于ssm的房屋租售网站(有报告)。Javaee项目，ssm项目。

基于ssm的房屋租售网站(有报告)。Javaee项目，ssm项目。

演示视频： 基于ssm的房屋租售网站(有报告)。Javaee项目，ssm项目。 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站。 项目介绍： 采用M（mode…
阅读更多...
JUC并发工具-CAS机制

JUC并发工具-CAS机制

面试的时候经常被问到锁、JUC工具包等相关内容，其中CAS机制是必问题目，以下简单总结CAS的机制、CAS产生的ABA现象、CAS产生的ABA现象解决思路 1.什么是CAS？ CAS（Compare and Swap）是一种多线程同步的原子操作&#xf…
阅读更多...
融合语言模型中的拓扑上下文和逻辑规则实现知识图谱补全11.18

融合语言模型中的拓扑上下文和逻辑规则实现知识图谱补全11.18

融合语言模型中的拓扑上下文和逻辑规则实现知识图谱补全 摘要1 引言2 相关工作2.1 事实嵌入法2.2 拓扑嵌入方法2.3 规则融合方法2.4 基于LM的方法 3 准备3.1 知识图谱和拓扑上下文3.2 KG中的逻辑规则4.3 三元组嵌入 5 实验和结果5.1 数据集和评价指标 摘要 知识图补全&#xf…
阅读更多...
社区无人零售：投资新热点，创业新机遇

社区无人零售：投资新热点，创业新机遇

社区无人零售是一个备受关注的创业项目，被视为投资的“爆点”。与其他国家相比，无人零售在国内市场远未达到饱和，因此成为了当下的新风口。今天，我将详细分析这个创业项目，以帮助感兴趣的朋友们了解更多。 首先&#x…
阅读更多...
【论文阅读笔记】Supervised Contrastive Learning

【论文阅读笔记】Supervised Contrastive Learning

【论文阅读笔记】Supervised Contrastive Learning 摘要 自监督批次对比方法扩展到完全监督的环境中，以有效利用标签信息提出两种监督对比损失的可能版本 介绍 交叉熵损失函数的不足之处，对噪声标签的不鲁棒性和可能导致交叉的边际，降低了…
阅读更多...
最新文章

Copyright @ 2022~2023