Redis - 高可用实现方案解析:主从复制与哨兵监控

文章目录

  • Pre
  • 概述
  • Redis 高可用实现方案
  • 一、主从复制机制
    • 1.1 全量同步流程
    • 1.2 增量同步(PSYNC)流程
  • 二、哨兵监控机制
    • 2.1 故障转移时序流程
  • 三、方案对比与选型建议
  • 四、生产环境实践建议

在这里插入图片描述


Pre

Redis-入门到精通

Redis进阶系列

Redis进阶 - Redis主从工作原理详解

Redis-18Redis主从同步

Redis-19Redis哨兵Sentinel模式-Centos6.5上3台主机1主2从3哨兵的配置及通过代码访问哨兵


概述

为了提升对高并发实时数据访问的性能,数据缓存组件应运而生,其中比较常见的就是Memcache和Redis。

Memcache是经典的内存缓存技术,对相关领域的支持比较丰富,各种框架都支持使用该技术。应用系统中经常用到的会话信息可以非常方便地保存到Memcache中,每个键保存的数据量最大为1 MB,支持的数据类型比较单一,仅支持字符串类型(string),不支持持久化操作。

Redis支持比较多的数据类型(string、list、set、sortset、hash),也支持集合计算(set类型),每个键的最大数据量为1 GB,支持持久化操作。Redis一般配合后端数据库使用,其存放的一般是用户当前频繁使用的数据。

组件优点缺点
Memcache1. 支持客户端式分布式集群
2. 一致性哈希多核结构
3. 多线程读写性能高
4. 内存分配效率高
1. 不支持持久化
2. 仅支持字符串类型
3. 节点故障可能引发缓存穿透
4. 分布式需客户端实现
5. 单键最大1MB
6. 扩容复杂度高
Redis1. 支持5种数据类型(String/List/Set/ZSet/Hash)
2. 支持持久化(RDB/AOF)
3. 高可用架构(主从+哨兵)
4. 支持分布式分片集群
5. 单线程无锁高性能
6. 单键最大1GB
1. 多线程并发读写性能低于Memcache
2. 内存碎片问题需定期清理
3. 集群模式下部分命令受限(如跨节点事务)
4. 持久化可能影响瞬时性能

Redis 高可用实现方案

Redis 实现高可用主要依靠两大机制:主从复制哨兵监控


一、主从复制机制

Redis通过主从复制实现数据冗余与读写分离,支持全量同步增量同步两种模式。

1.1 全量同步流程

当从服务器首次连接主服务器或数据差异过大时触发全量同步:

从服务器 主服务器 SYNC命令 执行BGSAVE生成RDB 记录后续命令到缓冲区 发送RDB文件 加载RDB文件 发送缓冲区增量命令 执行增量命令 从服务器 主服务器

全量同步流程:

  1. 从服务器发送 SYNC 命令:从服务器请求与主服务器建立复制关系。
  2. 主服务器生成 RDB 快照:接收到 SYNC 命令后,主服务器调用 BGSAVE 命令生成 RDB 文件,同时启动缓冲区记录后续所有的增量命令。
  3. 传输 RDB 文件:主服务器将 RDB 快照发送给从服务器。
  4. 从服务器加载 RDB 文件:从服务器加载快照文件,完成数据初步同步。
  5. 增量命令同步:主服务器从缓冲区读取断线期间的命令,发送给从服务器,从服务器执行后续写入操作。

1.2 增量同步(PSYNC)流程

在理解增量同步之前需要了解下面几个概念

  • 复制偏移量:执行复制的主从服务器会以字节为单位维护一个复制的偏移量(offset)。
  • 复制缓冲区:一个先进先出(first in first out,FIFO)的队列,用于存储服务器执行过的命令,每次执行命令时主服务器都会将命令记录下来,并存储在复制缓冲区。命令存储的仅仅是数据变更的操作,复制缓冲区的大小是1 MB。
  • 服务器运行ID:每个Redis服务器会在启动时生成自己的服务器运行ID(runid),主服务器会将自己的运行ID发送给从服务器,从服务器将其保存起来,当主从服务器断线重连之后就可依据这一ID来判断当前主服务器是否是之前的主服务器,如果是,则启动增量同步,否则启动全量同步。

Redis 2.8+版本引入PSYNC命令优化断线重连场景:

从服务器 主服务器 PSYNC runid offset FULLRESYNC runid offset 发送RDB文件 CONTINUE 发送缺失的增量命令 FULLRESYNC runid offset 全量同步 alt [runid匹配且offset在缓冲区内- ] [数据差异过大] alt [初次复制] [断线重连] 从服务器 主服务器

核心逻辑

  • 通过runid验证主服务器身份
  • 通过offset判断数据差异是否超出缓冲区容量(默认1MB)
  • 增量同步仅传输丢失的命令,避免全量复制

PSYNC命令的执行流程。

  • (1)客户端向服务器发送SLAVEOF命令,让当前服务器成为从服务器。
  • (2)从服务器根据自己是否保存主服务器的运行ID来判断是否是第一次复制,如果是第一次复制,则继续执行第3步,否则跳转到第4步。
  • (3)从服务器向主服务器发送PSYNC ? -1命令进行全量同步。
  • (4)从服务器向主服务器发送PSYNC runid offset命令进行增量同步。
  • (5)主服务器接收到PSYNC 命令后,先判断runid是否与本机ID一致,如果一致,则会再次判断offset和本机的偏移量差距有没有超过复制缓冲区大小,如果没有,就给从服务器发送CONTINUE命令,此时从服务器只需要等待主服务器传回失去连接期间丢失的命令。
  • (6)如果runid和本机ID不一致或者双方偏移量差距超过复制缓冲区大小,就会发送FULLRESYNC runid offset命令,从服务器将runid保存起来,并进行全量同步。

二、哨兵监控机制

主从复制虽然实现了数据同步,但主服务器宕机后写操作将无法进行。为解决此问题,Redis 提供了哨兵(Sentinel)机制,主要功能包括:

  • 监控(Monitoring):持续检查主从服务器的运行状态。
  • 通知(Notification):在检测到故障时,通过 API 向管理员或其他应用程序发送通知。
  • 自动故障迁移(Automatic Failover):当主服务器失效时,从剩余从服务器中选举出一个新主服务器,并指示其他从服务器切换复制目标,同时向客户端返回新主服务器的地址。

2.1 故障转移时序流程

哨兵 主服务器 从服务器 客户端 其他从服务器 定期检查主服务器状态 持续监控 选举新主服务器 接受升级为新主 通知切换到新主 返回新主服务器地址 alt [主服务器正常] [主服务器故障] 哨兵 主服务器 从服务器 客户端 其他从服务器

核心功能

  1. 监控:多哨兵节点协同检测主服务器状态
  2. 选举:基于Raft算法选举领头哨兵
  3. 故障转移
    • 提升从服务器为新主节点
    • 修改其他从服务器复制目标
    • 更新客户端连接地址

三、方案对比与选型建议

方案适用场景限制条件
主从复制数据冷备份、读写分离主节点故障需手动切换
哨兵模式自动故障转移的高可用场景需要至少3个哨兵节点保障决策

推荐组合:主从复制+哨兵模式,兼顾数据冗余与自动容灾。


四、生产环境实践建议

  1. 网络优化:主从节点尽量部署在同机房
  2. 内存配置:主节点内存建议为最大数据量的1.5倍
  3. 监控指标
    • 主从复制延迟(master_repl_offset
    • 哨兵节点的ping响应时间
  4. 避免使用KEYS *等阻塞命令影响同步性能

通过合理配置主从复制与哨兵监控,可构建秒级故障恢复的高可用Redis集群。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/981054.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

栈和队列的模拟实现

文章目录 一. 回顾栈和队列二. stack的模拟实现stack.hstack.cpp 三. queue的模拟实现queue.htest.cpp 四. 了解dequeuevector和list都有各自的缺陷deque 总结 一. 回顾栈和队列 回顾一下栈和队列 栈:stack:后进先出 _ 队列:queue&#xf…

【Linux】之【Bug】VMware 虚拟机开机 一直卡在黑屏左上角下划线闪烁界面

解决 参考: 解决Ubuntu20.04 开机黑屏光标闪烁进不去系统 Centos根目录100%解决思路 当前界面 ctrlaltf3-f6 暂时进入终端界面 df -h 查看发现根目录 磁盘空间已满 执行命令 查看当前目录占用内存明细 sudo du -h -x --max-depth1清理无用的大内存文件 或者安装…

【uniapp】离线打包uniapp为apk详细步骤

先看效果 登录页面的图片由于来自于图鸟官网,这里没有显示。 离线打包uniapp为apk 运行环境:华为mate30,已经升级为鸿蒙系统。 参考文档 https://blog.csdn.net/xiaoyao_studio/article/details/144076431 https://juejin.cn/post/739…

【通俗讲解电子电路】——从零开始理解生活中的电路(一)

导言:电子电路为什么重要? ——看不见的“魔法”,如何驱动你的生活? 清晨,当你的手机闹钟响起时,你可能不会想到,是电子电路在精准控制着时间的跳动;当你用微波炉加热早餐时&#…

Octave3D 关卡设计插件

课程参考链接 这位大佬有在视频合集中有详细的讲解,个人体验过,感觉功能很强大 https://www.bilibili.com/video/BV1Kq4y1C72P/?share_sourcecopy_web&vd_source0a41d8122353e3e841ae0a39908c2181 Prefab资源管理 第一步 在场景中创建一个空物体…

通过多线程分别获取高分辨率和低分辨率的H264码流

目录 一.RV1126 VI采集摄像头数据并同时获取高分辨率码流和低分辨率码流流程 ​编辑 1.1初始化VI模块: 1.2初始化RGA模块: 1.3初始化高分辨率VENC编码器、 低分辨率VENC编码器: 1.4 VI绑定高分辨率VENC编码器,VI绑定RGA模块…

【Python 数据结构 1.零基础复习】

目录 一、输入与输出 1.输入 2.格式化输出 二、数字与变量 1.字符串 & 整型 2.字符串 & 整型 & 浮点型 3.变量 练习 2235. 两整数相加 三、运算与操作 1.四则运算 练习 2769. 找出最大的可达成数字 3.取整与取余 练习 2651. 计算列车到站时间 ​编辑 四、真与假 1…

21. 构造二叉树(卡码网)

21. 构造二叉树 find()方法 在Python中,str.find(sub[, start[, end]]) 方法用于查找子字符串 sub 在字符串中首次出现的位置,返回其起始索引。如果未找到,返回 -1 class Tree:def __init__(self,valNone,leftNone,r…

RocketMQ定时/延时消息实现机制

RocketMQ 的延迟消息是其核心特性之一,允许消息在指定延迟时间后才被消费者消费。 定时消息生命周期 一、延迟消息的核心机制 RocketMQ(5.0之前) 不支持任意时间精度的延迟,而是通过预定义的 延迟级别(Delay Level&a…

【编程题】7-3 树的同构

7-3 树的同构 1 题目原文2 思路解析3 代码实现4 总结 1 题目原文 题目链接:7-3 树的同构 给定两棵树 T 1 T_1 T1​ 和 T 2 T_2 T2​​。如果 T 1 T_1 T1​ 可以通过若干次左右孩子互换就变成 T 2 T_2 T2​,则我们称两棵树是“同构”的。例如图 1 1 …

WebP2P技术在嵌入式设备中的应用:EasyRTC音视频通话SDK如何实现高效通信?

在数字化时代,实时通信技术(RTC)与人工智能(AI)的融合正在重塑各个行业的交互方式。从在线教育到远程医疗,从社交娱乐到企业协作,RTC的应用场景不断拓展。然而,传统的RTC解决方案往往…

【前端】前端设计中的响应式设计详解

文章目录 前言一、响应式设计的定义与作用二、响应式设计的原则三、响应式设计的实现四、响应式设计的最佳实践总结 前言 在当今数字化时代,网站和应用程序需要适应各种设备,从桌面电脑到平板电脑和手机。响应式设计应运而生,成为一种可以适…

【AVRCP】探寻AVRCP控制互操作性:连接、命令与设备交互

AVRCP对于实现设备间的高效音频/视频控制至关重要。而控制互操作性要求作为AVRCP的核心部分,详细规定了设备在连接建立、命令传输等方面的具体操作。确保了不同设备之间能够实现无缝的远程控制。 一、AVCTP连接管理 1.1 AVCTP连接建立 发起者:AVCTP控制…

LLM大型语言模型(一)

1. 什么是 LLM? LLM(大型语言模型)是一种神经网络,专门用于理解、生成并对人类文本作出响应。这些模型是深度神经网络,通常训练于海量文本数据上,有时甚至覆盖了整个互联网的公开文本。 LLM 中的 “大” …

2025国家护网HVV高频面试题总结来了04(题目+回答)

网络安全领域各种资源,学习文档,以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具,欢迎关注。 一、HVV行动面试题分类 根据面试题的内容,我们将其分为以下几类: 漏洞利用与攻击技术 …

解锁GPM 2.0「卡顿帧堆栈」|代码示例与实战分析

每个游戏开发者都有一个共同的愿望,那就是能够在无需复现玩家反馈的卡顿现象时,快速且准确地定位卡顿的根本原因。为了实现这一目标,UWA GPM 2.0推出了全新功能 - 卡顿帧堆栈,旨在为开发团队提供高效、精准的卡顿分析工具。在这篇…

【人工智能】蓝耘智算平台盛大发布DeepSeek满血版:开创AI推理体验新纪元

📝个人主页🌹:Eternity._ 🌹🌹期待您的关注 🌹🌹 ❀ 蓝耘智算平台 蓝耘智算平台核心技术与突破元生代推理引擎快速入门:三步调用大模型接口,OpenAI SDK无缝兼容实战用例文…

用Python+Flask打造可视化武侠人物关系图生成器:从零到一的实战全记录

用PythonFlask打造可视化武侠人物关系图生成器:从零到一的实战全记录 一、缘起:一个程序小白的奇妙探索之旅 作为一个接触Python仅13天的编程萌新,我曾以为开发一个完整的应用是遥不可及的事情。但在DeepSeek的帮助下,我竟用短短…

Mac远程桌面软件哪个好用?

远程桌面软件能帮助我们快速的远程控制另一台电脑,从而提供远程帮助,或者进行远程办公。那么,对macOS系统有什么好用的Mac远程桌面软件呢? 远程看看是一款操作简单、界面简洁的远程桌面软件,支持跨平台操作&#xff0…

华为云 | 快速搭建DeepSeek推理系统

DeepSeek(深度求索)作为一款国产AI大模型,凭借其高性能、低成本和多模态融合能力,在人工智能领域崛起,并在多个行业中展现出广泛的应用潜力。 如上所示,在华为云解决方案实践中,华为云提供的快速…