redis的高可用

在集群当中有一个非常重要的指标,提供正常服务的时间的百分比(365天)99.9%

redis的高可用含义更加宽泛,正常服务是指标之一、数据容量的扩展、数据的安全性。

在redis当中实现高可用技术:持久化、主从复制、哨兵模式、cluster集群

持久化是什么?

持久化是最简单的高可用方法,主要作用是数据实现备份,也就是把redis缓存在内存中的数据保存到硬盘中。(是典型的冷备份方式)

redis持久化的两种方式

1、 RDB持久化:redis在内存中的数据定时保存到磁盘。(自动执行,手动也可以)

2、 AOF持久化:redis的操作日志,以追加的方式写入一个AOF的文件,类似于MySQL的binlog

RDB持久化

RDB持久化:在指定的时间间隔内,将内存中当前进程中的数据生成快照保存到硬盘(快照持久化),二进制压缩存储。保存的文件名后缀是.rdb。redis启动可以直接读取快照文件实现数据恢复。

RDB的触发机制

手动机制:save bgsave都可以生产RDB文件

save创建RDB文件时,整个redis进程会被阻塞,期间redis将无法进行读写操作,直到RDB文件创建完成。

save缓存流程图:

cd /var/lib/redis/6379
#rdb文件保存位置
cp dump.rdb
#备份文件
进入redis后save保存
关闭redis服务后
进行冷备份
删除原来的dump.rdb
再备份回来即可

生产中不能使用save会导致进程阻塞

bgsave主进程会通过fork机制创建一个子进程,子进程的创建过程中,主进程会阻塞,子进程创建完毕,主进程会解除阻塞。由子进程来创建RDB文件。创建完成之后,通知主进程更新通知信息。

bgsave缓存流程图:

 自动触发机制:

vim /etc/redis/6379.conf
219行
save 900 1
#900秒  当时间到900秒时,redis的数据至少发生了一次变化,就执行BGSAVE
save 300 10
#300秒  当时间到300秒时,redis的数据至少发生了10次变化,就执行BGSAVE
save 60 10000
#60秒  当时间到60秒时,redis的数据至少发生了10000次变化,就执行BGSAVE

一般来说生产中配置sava
sava 120 1000 bgsave
如果数据量比较大时间可以适当放短一点
sava 60 10000 bgsava
数据变动越多,执行的时间要越短,数据如果变动不大时间间隔要长一点

242行
rebcompression yes
#开启rdb文件的压缩功能,在高并发场景建议关闭。

264行
dir /var/lib/redis/6379
#配置文件目录

除了配置文件中的save m n 之外

主从复制,从节点执行全量复制操作,主节点会执行bgsave,把rbd文件传送给从节点。

关闭主进程,shoutdown之后,会自动执行rdb的持久化。

如果启动时加载发现rdb文件被损坏,日志中会打印错误,redis会拒绝启动。

redis-check-rdb:修复RDB的持久化文件

AOF持久化

AOF持久化是将redis的每一次读、写、删除命令记录到一个单独的.aof结尾的文件。AOF不会记录查询操作,查询操作由主进程记录。当redis重启时,再次执行AOF文件中的命令来恢复数据。

AOF的是实现更好也是主流的持久化方案

AOF持久化是需要手动打开的

vim /etc/redis/6379.conf

700行
appendonly yes
#开启AOF持久化的功能

704行
appendfilename "appendonly.aof"
#AOF持久化文件,名称可以自定义,文件后缀不能修改

aof-load-truncated yes
#用于判断AOF文件,如果被截断时的行为
#截断:写入过程中出现异常,导致文件未能完全写入
#yes:发现被截断,redis会在启动时尽可能恢复文件中的数据。redis会继续运行
#no:发现AOF文件被截断,redis将拒绝启动

如果对数据的完整性高,建议使用no
如果追求数据服务器的可用性,可以使用yes
可用性在并发场景上很重要,推荐使用yes

AOF如何实现备份恢复

vim /etc/redis/6379.conf
cd /var/lib/redis/6379
#检查文件是否生成

实现数据恢复
进入redis
set test1 1
set test2 2
set test3 3
vim /var/lib/redis/6379/appendonly.aof
#配置文件会记录所有redis的操作
flushall
/etc/init.d/redis_6379 stop
#停止redis服务
vim /var/lib/redis/6379/appendonly.aof
#根据为位置点删除flushall这个操作
/etc/init.d/redis_6379 restart
#重启服务
进入redis查看文件恢复
实验已经完成!

RDB是redis的默认持久化文件,但是如果开启了AOF持久化,那么redis会以AOF持久化文件作为最高优先级

AOF的重写功能

1、 随着时间增长AOF文件中的数据也会不断怎加。AOF的文件也会越来越大,过大的AOF文件不仅仅会影响服务器的正常运行,也会导致数据恢复的时间过长。

文件重写是指定期的重写AOF文件,减小AOF文件的体积。AOF重写是把redis进程内的数据,转化为写的命令,同步到新的AOF文件中(不会额外生成一个新的文件,只是在原有内容中进行压缩),不会对原有的文件进行任何读、写的操作。

文件重写虽然是AOF持久化强烈推荐的,但不是必须的。没有重写,并不影响redis启动时读取数据。在实际中,会关闭自动的文件重写。通过定时任务来完成。

AOF同步文件的策略

有三种方式

vim /etc/redis/6379.conf

729行
appendfsync always
#写入过程中立刻调用redis系统的fsync。写入到AOF文件。如果每次写入都执行同步,硬盘的性能有瓶颈,硬盘的寿命也会大大降低。

appendfsync everysec
#也是命令写入,调用write操作。write操作结束后,线程会返回,fsync同步文件操作由专门的线程,每秒同步一次。属于折中策略,是性能和安全性的平衡,是redis的默认配置,也是推荐配置

appendfsync no
#写入操作调用系统的write操作,但是不做同步,不对AOF文件进行同步。操作系统来同步。同步周期是30秒。文件同步的时间不可控,缓冲区会推积大量数据,数据的安全也无法保证。
AOF重写的出发条件

1、 手动触发

客户端命令行可以直接执行手动触发的命令
redis-cli bgrewriteaof
#手动执行AOF重写的命令

执行完成后可以看日志文件查看
tail -f

进入redis创建几个键值对
flushall
#清空所有服务
/etc/init.d/redis_6379 stop
#停止redis服务
vim /var/lib/redis/6379/appendonly.aof
#根据为位置点删除flushall这个操作
/etc/init.d/redis_6379 restart
#重启服务
进入redis查看文件恢复
实验已经完成!

AOF重写数据流程图:

2、 自动触发

vim /etc/redis/6379.conf​
771行
auto-aof-rewrite-percentage 100
#文件的大小超过基准的百分比。默认值就是100。文件的大小超过2倍时,会执行bgrewriteaof。
如果设置为0就是禁用自动触发。

auto-aof-rewrite-min-size 64mb
#文件大于基准值,才会进行重写。这个是AOF文件执行重写的最小值,避免开始启动redis后,文件太小,然后频繁的进行重写。​
必须要有auto-aof-rewrite-min-size 64mb。
否则会频繁重写。如果配置定时任务需要先注释掉auto-aof-rewrite-percentage 100否则会自动生效。

AOF重写为什么可以压缩文件?

1、 在重写的过程中,如果有过期的数据不会写入文件

2、 重写的过程中无效的命令不再写入文件,数据被重复设置,例如:set test=1 set test=2。删除的数据也不会写入,例如:set test 1 del test

3、 多条命令合并成一个。例如:sadd test1 v1 sadd test1 v2 sadd test1 v3 合并为 sadd test1 v1 v2 v3

重写之后,AOF的文件当中的命令减少了,空间也少了,恢复速度也怎加了。(重写不是必须的)

RDB和AOF之间的优缺点

RDB的优点:文件体积小,如果需要备份网络传输速度很快,适合全量复制。恢复速度也比AOF要快。

RDB的缺点:做不到实时持久化。数据如此重要,不能够容忍丢失的。

RDB需要满足特定的格式,兼容性很差。比如老版本的RDB不支持新版本。

生产中部署redis一定要保证版本一致,生产中一般5.0.7版本

5.0.7版本是目前最稳定的版本

所以AOF成为了主流

AOF的优点:秒级持久化策略。兼容性好。文本格式保存的命令

AOF的缺点:文件大,恢复速度慢。AOF持久化需要频繁的向磁盘写入数据,磁盘的IO压力很大。对redis主进程的性能也会有一定的影响。

总结

redis的持久化也算是高可用的一种,通过备份文件来恢复数据。是冷备份的方式

持久化的两种方式:rdb aof

rbd:save会阻塞主进程,必须等待rbd文件生成后才能恢复。所以线上禁用save。

bgsave不会阻塞主进程,会生成一个子进程

AOF是一种实时持久化,是主流。写入的操作命令,除了查 set del会记录 get select不计入。实时记录。恢复方式类似于MySQL的bin-log

AOF重写机制:推荐但是不是必须的。重写也是主进程,创建一个子进程,由子进程创建.aof文件。如果有新的同步操作会写入aof文件,不是创建新的aof文件而是压缩aof文件后写入。

拓展题

1、 bgsave持久化缓存方式:

bgsave主进程会通过fork机制创建一个子进程,子进程的创建过程中,主进程会阻塞,子进程创建完毕,主进程会解除阻塞。由子进程来创建RDB文件。创建完成之后,通知主进程更新通知信息。

2、 AOF持久化

AOF持久化是将redis的每一次读、写、删除命令记录到一个单独的.aof结尾的文件。AOF不会记录查询操作,查询操作由主进程记录。当redis重启时,再次执行AOF文件中的命令来恢复数据。

AOF的是实现更好也是主流的持久化方案

AOF持久化是需要手动打开的

vim /etc/redis/6379.conf

700行
appendonly yes
#开启AOF持久化的功能

704行
appendfilename "appendonly.aof"
#AOF持久化文件,名称可以自定义,文件后缀不能修改

aof-load-truncated yes
#用于判断AOF文件,如果被截断时的行为
#截断:写入过程中出现异常,导致文件未能完全写入
#yes:发现被截断,redis会在启动时尽可能恢复文件中的数据。redis会继续运行
#no:发现AOF文件被截断,redis将拒绝启动

如果对数据的完整性高,建议使用no
如果追求数据服务器的可用性,可以使用yes
可用性在并发场景上很重要,推荐使用yes

RDB是redis的默认持久化文件,但是如果开启了AOF持久化,那么redis会以AOF持久化文件作为最高优先级

3、 AOF的重写功能

随着时间增长AOF文件中的数据也会不断怎加。AOF的文件也会越来越大,过大的AOF文件不仅仅会影响服务器的正常运行,也会导致数据恢复的时间过长。

文件重写是指定期的重写AOF文件,减小AOF文件的体积。AOF重写是把redis进程内的数据,转化为写的命令,同步到新的AOF文件中(不会额外生成一个新的文件,只是在原有内容中进行压缩),不会对原有的文件进行任何读、写的操作。

文件重写虽然是AOF持久化强烈推荐的,但不是必须的。没有重写,并不影响redis启动时读取数据。在实际中,会关闭自动的文件重写。通过定时任务来完成。

4、 如果出现了截断的情况下你是如何操作的?

aof-load-truncated yes
#用于判断AOF文件,如果被截断时的行为
#截断:写入过程中出现异常,导致文件未能完全写入
#yes:发现被截断,redis会在启动时尽可能恢复文件中的数据。redis会继续运行
#no:发现AOF文件被截断,redis将拒绝启动

如果对数据的完整性高,建议使用no
如果追求数据服务器的可用性,可以使用yes
可用性在并发场景上很重要,推荐使用yes

5、 重写之后,AOF的文件当中的命令减少了,空间也少了,恢复速度也怎加了。但是重写不是必须的,无非是速度快慢的问题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/171134.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

时尚女童千金小套装,爱了爱了

自带氛围感的小套装简直不要太好看 红色吸睛又喜庆,显白不挑人穿 谁穿都好看系列!! 厚实的苏两毛羊毛 保暖性能真的非常好 超柔软的手感和触感 显得很高级穿上也很舒适 一整个小公主style,时尚气质感拉满 里面的连衣裙单穿也很nice …

V8引擎隐藏类(VIP课程)

上一章我们讲了V8如何存储的对象,其中提到了隐藏类,这一章我们来看看隐藏类到底做了什么。 为什么要讲V8???? 隐藏类是V8引擎在运行时自动生成和管理的数据结构,用于跟踪对象的属性和方法 隐藏…

揭开副业的神秘面纱,上班摸鱼搞副业

副业没那么神秘,说白了就是销售。 卖文字、卖知识、卖技能、卖产品 ... 找对了渠道,有人愿意买单,就成了副业。 但是现在搞副业,坑多水深的,太多人栽跟头了,丢几百块都能算少的。 开始细说干货之前&#…

el-date-picker ie模式下 初始化未赋值;未清空

el-date-picker ie模式下 初始化未赋值;未清空 给 dete-picker 加key属性 eg:

【C++】——多态性与模板(其二)

🎃个人专栏: 🐬 算法设计与分析:算法设计与分析_IT闫的博客-CSDN博客 🐳Java基础:Java基础_IT闫的博客-CSDN博客 🐋c语言:c语言_IT闫的博客-CSDN博客 🐟MySQL&#xff1a…

ROS1余ROS2共存的一键安装(全)

ROS1的安装: ROS的一键安装(全)_ros一键安装_牙刷与鞋垫的博客-CSDN博客 ROS2的安装 在开始这一部分的ROS2安装之前,是可以安装ROS1的,当然如果你只需要安装ROS2的话就执行从此处开始的代码即可 我是ubuntu20.4的版…

给新手教师的成长建议

随着教育的不断发展和进步,越来越多的新人加入到教师这个行列中来。从学生到教师,这是一个华丽的转身,需要我们不断地学习和成长。作为一名新手老师,如何才能快速成长呢?以下是一名老师教师给的几点建议: 一…

华为防火墙 Radius认证

实现的功能:本地内网用户上网时必须要进行Radius验证,通过后才能上网 前置工作请按这个配置:华为防火墙 DMZ 设置-CSDN博客 Windows 服务器安装 Radius 实现上网认证 拓扑图如下: 一、服务器配置 WinRadius 1、安装WinRadius …

移动机器人路径规划(五)--- 基于Minimun Snap的轨迹优化

目录 1 我们本节主要介绍的 2 Minimum Snap Optimization 2.1 Differential Flatness(微分平坦) 2 Minimum Snap 3 Closed-form Solution to Minimum Snap 3.1 Decision variable mapping 待优化问题的映射 4 凸优化 及其它问题 1 我们本节主要介…

2023 羊城杯 final

前言 笔者并未参加此次比赛, 仅仅做刷题记录. 题目难度中等偏下吧, 看你记不记得一些利用手法了. arrary_index_bank 考点: 数组越界 保护: 除了 Canary, 其他保护全开, 题目给了后门 漏洞点: idx/one 为 int64, 是带符号数, 所以这里存在向上越界, 并且 buf 为局部变量,…

程序员有必要考个 985 非全日制研究生嘛?

大家好,我是伍六七。 经常有读者问我,非全日制研究生好考嘛?有用嘛?今天我们来聊聊这个问题。 科普一下:什么是非全日制研究生? 非全日制研究生是国家在 2017 年对教育行业的重大改革。 非全日制需要参加…

vscode工作区多Tabs

Search,输入 window.nativeTabs,Open Settings 勾选,restart

轻量封装WebGPU渲染系统示例<36>- 广告板(Billboard)(WGSL源码)

原理不再赘述&#xff0c;请见wgsl shader实现。 当前示例源码github地址: https://github.com/vilyLei/voxwebgpu/blob/feature/rendering/src/voxgpu/sample/BillboardEntityTest.ts 当前示例运行效果: WGSL顶点shader: group(0) binding(0) var<uniform> objMat :…

维基百科文章爬虫和聚类【二】:KMeans

维基百科是丰富的信息和知识来源。它可以方便地构建为带有类别和其他文章链接的文章&#xff0c;还形成了相关文档的网络。我的 NLP 项目下载、处理和应用维基百科文章上的机器学习算法。 一、说明 在我的上一篇文章中&#xff0c;展示了该项目的轮廓&#xff0c;并奠定了其基础…

广西桂林钢结构钣金折弯件3d扫描全尺寸偏差检测-CASAIM中科广电

钣金是一种针对金属薄板&#xff08;通常在6mm以下&#xff09;的综合冷加工工艺&#xff0c;包括剪、冲/切/复合、折、焊接、铆接、拼接、成型&#xff08;如汽车车身&#xff09;等&#xff0c;其显著的特征就是同一零件厚度一致&#xff0c;通过钣金工艺加工出的产品叫做钣金…

代码随想录 11.21 || 单调栈 LeetCode 84.柱状图中最大的矩形

84.柱状图中最大的矩形 给定 n 个非负整数&#xff0c;用来表示柱状图中各个柱子的高度。每个柱子彼此相邻&#xff0c;且宽度为 1。求在柱状图中&#xff0c;能够勾勒出来的矩形的最大面积。和 42.接雨水 类似&#xff0c;在由数组组成的柱状图中&#xff0c;根据条件求解。 图…

大数据平台红蓝对抗 - 磨利刃,淬精兵! | 京东云技术团队

一、背景 目前大促备战常见备战工作&#xff1a;专项压测&#xff08;全链路压测、内部压测&#xff09;、灾备演练、降级演练、限流、巡检&#xff08;监控、应用健康度&#xff09;、混沌演练&#xff08;红蓝对抗&#xff09;&#xff0c;如下图所示。随着平台业务越来越复…

六要素超声波微气象仪一款气象监测设备

WX-WQX6 随着科技的发展&#xff0c;人们对天气的预测和掌控能力越来越强。在这个领域&#xff0c;六要素超声波微气象仪以其精准、实时的气象监测能力&#xff0c;赢得了众多关注。这款仪器不仅可以实时监测温度、湿度、风速、风向、气压和雨量六个气象要素&#xff0c;还可以…

关于爬虫!看这一篇就够了!

作为一个互联网的技术开发&#xff0c;爬虫不管是自己写的还是所负责的网站被爬&#xff0c;都是挺常见的。 但是一个很常见的东西&#xff0c;却一直没有系统梳理过&#xff0c;今天我们从发展历史&#xff0c;价值&#xff0c;问题和应对恶意爬虫的策略来聊一聊爬虫。 1 爬…

数字化转型与企业创新—基于中国上市公司年报的经验证据(2007-2022年)

参照潘红波&#xff08;2022&#xff09;的做法&#xff0c;对来自中南大学学报《数字化转型与企业创新—基于中国上市公司年报的经验证据》一文中的基准回归部分进行复刻。文章实证检验数字化转型对企业创新的影响。用年报词频衡量 一、数据介绍 数据名称&#xff1a;数字化转…