redis之高可用

(一)redis之高可用

1、在集群当中有一个非常重要的指标,提供正常服务的时间的百分比(365天)99.9%

2、redis的高可用的含义更加广泛,正常服务是指标之一,数据容量的扩展、数据的安全性

3、在redis中实现高可用的技术

(1)持久化
(2)主从复制
(3)哨兵模式
(4)cluster集群

(二)持久化(RDB/AOF)(重点)

1、持久化:最简单的高可用方法,主要作用是数据备份,也就是把redis缓存在内存中的数据保存到本地的硬盘当中(冷备份—停止服务备份)

2、redis持久化的两种方式

(1)RDB持久化:redis在内存中的数据定时保存到磁盘(自动执行、手动执行)(生产中很少使用)
(2)AOF持久化:redis的操作日志,以追加的方式写入一个AOF的文件,类似于mysql的binlog

(三)RDB持久化

1、RDB:指在指定的时间间隔内,将内存中当前进程中的数据生成快照保存到硬盘(快照持久化),用二进制压缩存储,保存的文件名后缀.rdb,redis启动时可以直接读取快照文件,实现数据恢复

2、RDB的触发机制

(1)手动机制:save、bgsave都可以生成RDB文件
save创建RDB文件时,整个redis进程会被阻塞,期间redis将无法进行读写操作,直到RDB文件创建完整为止(生产中禁止用save生成RDB文件)
bgsave:就是主从复制的机制。特点:主进程会通过fork机制创建一个子进程,子进程创建的过程中,主进程会阻塞,子进程创建完毕,主进程解除阻塞,由子进程创建RDB文件,创建完成之后,通知主进程更新通知信息(重点)

③bgsave的工作流程

关闭服务(冷备份):

恢复:

(2)自动机制(/ect/redis/6379.conf)
除了配置文件的save m n之外,还有:
①主从复制,从节点执行全量复制操作,直接执行bgsave,把RDB文件传送给从节点
②关闭主进程,shutdown之后,会自动指定RDB的持久化
③启动时加载,RDB文件被损坏,日志中会打印错误,redis会拒绝启动
④redis-check-rdb工具修复RDB的持久化文件

save 900 1:表示当时间到900秒时,redis的数据至少发生一次变化,就执行bgsave

save 300 10:表示当时间到300秒时,redis的数据至少发生十次变化,就执行bgsave

save 60 10000:表示当时间到60秒时,redis的数据至少发生一万次变化,就执行bgsave

时间间隔不能太短,执行不能太频繁(数据变动的越多,执行的时间越短,数据变动不大,时间间隔要长一点)

生产中一般设置:save 120 1000、save 60 10000

rdbcompression yes

开启RDB文件的压缩功能,在高并发场景建议关闭

(生产中默认是no)

(四)AOF持久化(生产中普遍使用)

1、AOF持久化是将redis的每一次读、写、删除命名记录到一个单独的.aof结尾的文件,查询操作由主进程记录,当redis重启时,再次执行AOF文件中的命令来恢复数据

2、AOF的实时性更好,也是主流的持久化方案

3、RDB是redis的默认持久化文件,但是一旦开启AOF持久化,那么redis会以AOF的持久化文件作为最高级优先级

 

aof-load-truncated yes:用于判断AOF文件是否被截断,发现被截断(写入过程中出现异常,导致文件未能完全写入)(重点)

AOF文件被截断时:

设置为yes,redis会尽可能的恢复文件中的数据,redis会继续运行

设置为no,发现AOF文件被截断,redis会拒绝启动

数据完整祥的要求高:设置No

注重数据服务器的可用性:设置yes

4、AOF的工作流程(自动机制:编辑vim appendonly.aof)

(五)AOF的重写功能(重点)

1、重写的原因:随着时间增长,AOF文件中的数据也会不断增加,AOF的文件也会越来越大,过大的AOF文件不仅仅会影响服务器的正常运行,也会导致数据恢复的时间过长

2、文件重写:是指定期的重写AOF文件,减小AOF文件的体积,AOF重写是把redis进程内的数据转化为写命令,同步到新的AOF文件中(不会额外的生成一个新的文件,只是在原内容中进行压缩),不会对原有的AOF文件进行任何读写的操作

3、文件重写虽然是AOF持久化强烈推荐的,但不是必须的,没有重写,并不影响redis启动时读取数据,在实际中,会关闭自动的文件重写,通过定时任务来完成

4、重写机制的工作路程(重点)

5、AOF同步文件策略的三种方式

(1)appendfsync always:写入过程中,立刻调用redis系统的fsync操作写入到AOF文件,这次写入都执行同步,硬盘的性能有瓶颈,硬盘的寿命会大大降低(不推荐)

(2)appendfsync everysec命名写入,调用write操作,write操作结束后,write线程会返回,fsync同步文件操作由专门的线程每秒同步一次(这是一个折中的策略,是性能和安全性的平衡,是redis的默认配置,也是推荐配置)

(3)appendfsync no:写入操作调用系统的write操作,不对AOF文件进行同步,操作系统来同步,同步周期30秒,文件同步的时间不可控,缓冲区会堆积大量数据,数据的安全也无法保证

6、重写的触发条件

(1)手动触发:redis-cli bgrewriteaof

(2)自动触发(配置配置文件):

auto-aof-rewrite-percentage 100

表示文件的大小超过基准的百分比,默认值就是100,文件的大小超过两倍时,执行bgrewriteaof,设置为0,表示禁用自动触发(100M—200M—400M)

*若要创建定时任务,可以设置为0,或者注释掉

auto-aof-rewrite-min-size 64mb(必须要有):

表示只有文件大于基准值,才会进行重写,这个值是AOF执行重写的最小值,可以避免开始启动redis后,文件太小,然后频繁的进行重写

7、AOF重写为什么能压缩文件

(1)重写的过程中,如果有过期的数据不会写入文件
(2)无效的命令不再写入文件,数据被重复设置(set test 1,set test 2),删除的数据也不会写入
(3)把多条命令合并成一个
例:sadd test1 1 sadd test1 2 sadd test1 3——sadd test1 1 2 3
(4)重写之后,AOF的文件当中的命令减少了,空间也少了,恢复速度也增加了(重写不是必须的,根据需求——重点

(六)RDB和AOF之间的优缺点

1、DRB

(1)RDB的优点:RDB文件体积小,网络传输速度很快,适合全量复制,恢复速度也比AOF要快
(2)RDB的缺点:做不到实时的持久化,数据如此重要,不能容忍丢失的;RDB需要满足特定的格式,兼容性很差,老版本的RDB不支持新版本(redis的版本要一致,redis的版本:5.0.7)

2、AOF

(1)AOF的优点:秒级持久化,兼容性好(文本格式保存的命名,命令通用)
(2)AOF的缺点:文件大,恢复速度慢,AOF持久化需要频繁的向磁盘写入数据,磁盘的I/O压力很大,对redis 主进程的性能也会有一定影响

(七)持久化总结

1、redis的持久化也算是高可用的一种,通过备份文件来恢复数据(冷备份)

2、RDB:save(线上禁用),bgsave

3、AOF:

(1)实时持久化,写入的是操作命令,除了查(set和del会记录,select和get不记录)。实时记录,恢复方式类似于mysql的binlog
(2)重写(推荐但是不是必须的):也是主进程创建一个子进程,在过程中产生的数据以及同步策略都会写入到AOF文件当中

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/171954.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

基于C#实现协同推荐 SlopeOne 算法

一、概念 相信大家对如下的 Category 都很熟悉,很多网站都有类似如下的功能,“商品推荐”,"猜你喜欢“,在实体店中我们有导购来为我们服务,在网络上我们需要同样的一种替代物,如果简简单单的在数据库里面去捞&am…

【ISP】噪声--sensor(2)

1.热噪声 也叫KT/C噪声,或者叫暗电流噪声。电子的热运动的导致,温度上升,噪声增大。 2.FPN固定模式噪声 由于每个像素点的元器件制造的会有偏差,也就是这些器件的工作参数相对理论值的漂移就构成一种固定模式噪声。 3.光子散粒噪…

No appropriate protocol -- Mysql

DataGrip连接mysql报以下异常信息: javax.net.ssl.SSLHandshakeException: No appropriate protocol (protocol is disabled or cipher suites are inappropriate) The following required algorithms might be disabled: SSLv3, TLSv1, TLSv1.1, RC4, DES, MD5wi…

网站为什么一定要安装SSL证书

随着互联网的普及和发展,网络安全问题日益凸显。在这个信息爆炸的时代,保护用户隐私和数据安全已经成为各大网站和企业的首要任务。而SSL证书作为一种网络安全技术,已经成为网站必备的安全工具。那么,为什么网站一定要安装SSL证书…

C编译流程

1.预处理 hello.c 经过预处理得到 hello.i gcc -E hello.c -o hello.i -E的含义:说明这是一个预处理操作 生成预处理文件(.i) 预处理阶段做了什么事: 1.1 头文件展开 我们发现 原先只有几行的hello.c变成了上千行的hello.i 实际上 预处理完成的是 将头…

二百零五、Flume——数据流监控工具Ganglia单机版安装以及使用Ganglia监控Flume任务的数据流(附流程截图)

一、目的 Flume采集Kafka的数据流需要实时监控,这时就需要用到监控工具Ganglia 二、Ganglia简介 Ganglia 由 gmond、gmetad 和 gweb 三部分组成。 (一)第一部分:gmond gmond(Ganglia Monitoring Daemon)…

.Net6 Api Swagger配置

1、定义个Swagger版本&#xff08;组&#xff09;的枚举 namespace WebApp.Enums {/// <summary>/// api版本枚举/// </summary>public enum ApiVersion{/// <summary>/// v1版本/// </summary>v1 1,/// <summary>/// v2版本/// </summary&…

深度学习之基于Django+Tensorflow动物识别系统

欢迎大家点赞、收藏、关注、评论啦 &#xff0c;由于篇幅有限&#xff0c;只展示了部分核心代码。 文章目录 一项目简介 二、功能三、系统四. 总结 一项目简介 基于Django和TensorFlow的动物识别系统可以被设计成能够使用深度学习算法自动识别上传的图像中的动物种类&#xff…

【AICFD案例教程】多孔介质歧管流动传热

AICFD是由天洑软件自主研发的通用智能热流体仿真软件&#xff0c;用于高效解决能源动力、船舶海洋、电子设备和车辆运载等领域复杂的流动和传热问题。软件涵盖了从建模、仿真到结果处理完整仿真分析流程&#xff0c;帮助工业企业建立设计、仿真和优化相结合的一体化流程&#x…

Linux C 网络编程概述

网络编程 计算机网络概述分类网络体系结构通信协议通信流程网络通信帧格式以太网帧格式分析ARP 协议分析IP 数据报分析IP分类IP 分配子网掩码 TCP 段分析 TCP三次握手协议 ⭐TCP四次挥手协议 ⭐ TCP编程基于 TCP 客户端编程-步骤说明基于 TCP 服务器端编程-步骤说明基于 TCP 服…

中间件安全:Apache Tomcat 弱口令.(反弹 shell 拿到服务器的最高控制权.)

中间件安全&#xff1a;Apache Tomcat 弱口令. Tomcat 是 Apache 软件基金会&#xff08;Apache Software Foundation&#xff09;的 Jakarta 项目中的一个核心项目&#xff0c;由 Apache、Sun 和其他一些公司及个人共同开发而成。 通过弱口令登录后台&#xff0c;部署 war 包…

【狂神说Java】redis

✅作者简介&#xff1a;CSDN内容合伙人、信息安全专业在校大学生&#x1f3c6; &#x1f525;系列专栏 &#xff1a;【狂神说Java】 &#x1f4c3;新人博主 &#xff1a;欢迎点赞收藏关注&#xff0c;会回访&#xff01; &#x1f4ac;舞台再大&#xff0c;你不上台&#xff0c…

Linux02 VIM编辑器

Linux02 VIM编辑器 基本上 vi/vim 共分为三种模式&#xff0c; 分别是命令模式&#xff08;Command mode&#xff09;&#xff0c;输入模式&#xff08;Insert mode&#xff09;和底线命令模式&#xff08;Last line mode&#xff09;。 三种状态进行切换 插入模式&#xff1a…

如何优雅的避免空指针异常

文章目录 1.数据准备2.实战&#xff1a;获取用户所在的城市2.1.直接获取&#xff1b;容易出现空指针异常。2.2.使用if-else判断&#xff1b;避免了出现空指针的问题&#xff0c;但是代码结构层次嵌套多&#xff0c;不美观2.3.使用工具类美化一下if判断代码2.4.使用Optional解决…

html实现计算器源码

文章目录 1.设计来源1.1 主界面1.2 计算效果界面 2.效果和源码2.1 动态效果2.2 源代码 源码下载 作者&#xff1a;xcLeigh 文章地址&#xff1a;https://blog.csdn.net/weixin_43151418/article/details/134532725 html实现计算器源码&#xff0c;计算器源码&#xff0c;简易计…

2022最新版-李宏毅机器学习深度学习课程-P51 BERT的各种变体

之前讲的是如何进行fine-tune&#xff0c;现在讲解如何进行pre-train&#xff0c;如何得到一个pre train好的模型。 CoVe 其实最早的跟预训练有关的模型&#xff0c;应该是CoVe&#xff0c;是一个基于翻译任务的一个模型&#xff0c;其用encoder的模块做预训练。 但是CoVe需要…

CV计算机视觉每日开源代码Paper with code速览-2023.11.17

点击CV计算机视觉&#xff0c;关注更多CV干货 论文已打包&#xff0c;点击进入—>下载界面 点击加入—>CV计算机视觉交流群 1.【点云分割】&#xff08;CVPR2023&#xff09;Center Focusing Network for Real-Time LiDAR Panoptic Segmentation 论文地址&#xff1a;…

【每日OJ —— 232.用栈实现队列(栈)】

每日OJ —— 232.用栈实现队列&#xff08;栈&#xff09; 1.题目&#xff1a;232.用栈实现队列&#xff08;栈&#xff09;2.解法2.1.方法讲解2.1.1.算法讲解2.1.2.代码实现2.1.3.提交通过展示 1.题目&#xff1a;232.用栈实现队列&#xff08;栈&#xff09; 2.解法 2.1.方法…

图解算法数据结构-LeetBook-栈和队列04_望远镜中最高的海拔_滑动窗口

科技馆内有一台虚拟观景望远镜&#xff0c;它可以用来观测特定纬度地区的地形情况。该纬度的海拔数据记于数组 heights &#xff0c;其中 heights[i] 表示对应位置的海拔高度。请找出并返回望远镜视野范围 limit 内&#xff0c;可以观测到的最高海拔值。 示例 1&#xff1a; 输…

AI技术实力认证,宏电股份荣获2023年度AI天马“领军企业”

近日&#xff0c;由中国新一代人工智能发展战略研究院指导&#xff0c;深圳市人工智能产业协会主办&#xff0c;广东未来产业研究院承办的2023年度“AI天马”认定最终结果公布&#xff0c;宏电股份荣获AI天马“领军企业”奖项。 宏电股份基于20余年的技术沉淀&#xff0c;在工业…