Redis(三)持久化

文章目录

  • RDB(Redis Database)
    • 自动触发
      • 保存频率
      • 修改dump文件保存路径
      • 修改文件保存名称
      • dump恢复
    • 手动触发
      • save![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/a56fdff44aee4efa96c2ce3615b69dc1.png)
      • bgsave
    • 优劣
      • 优点
      • 缺点
    • 检查修复dump文件
      • 会触发RDB快照的情况
    • 禁用快照
    • Redis优化配置项
    • 总结
  • AOF(Append Only File)
    • 保存文件类型
    • AOF持久化工作流程
    • 缓冲区回写频率
    • AOF配置/启动/修复/恢复
      • 配置文件说明
      • 正常恢复
      • 异常恢复
    • 优势
    • 劣势
    • AOF重写机制
  • AOF+RDB混合
    • 数据恢复加载流程
  • 纯缓存模式

RDB(Redis Database)

在指定的时间间隔,执行数据集时间点快照

自动触发

RDB(Redis 数据库):RDB 持久性以指定的时间间隔执行数据集的时间点快照

指定的时间间隔内将内存中的数据集写入磁盘,恢复时直接从磁盘中读回到内存中

  • Snapshot内存快照保存备份时全量快照
  • RDB保存的是dump.rdb文件

保存频率

Redis7和6.0有较大区别
Redis6.0.16 redis.conf
在这里插入图片描述
Redis7.0 redis.conf

在这里插入图片描述

修改dump文件保存路径

在这里插入图片描述

修改文件保存名称

在这里插入图片描述

dump恢复

  • 备份文件(dump.rdb)移动到 redis 安装目录并启动服务即可
  • 使用 flushdb / flushall 同样会产生dump文件但是是空的
  • 物理恢复:必须服务和备份分机分离。(不可以把备份文件dump.rdb和生产redis服务器放在同一台机器,必须分开各自存储)
    以防生产机物理损坏后备份文件也挂了。

手动触发

Redis提供两个命令save、bgsave

生产上只能用bgsave:save执行过程中会阻塞当前Redis Server 直到持久化工作完成,Redis 不能处理其他命令,线上禁止使用

save在这里插入图片描述

bgsave

Redis会在后台异步进行快照操作,不阻塞快照同时还可以响应客户端请求,该触发方式会fork一个子进程由子进程复制持久化过程

  • fork: github中的fork;操作系统:在Linux程序中,fork()会产生一个和父进程完全相同的子进程,但子进程在此后多会exec系统调用,出于效率考虑,尽量避免膨胀。
  • lastsave命令可获得最后一次执行快照时间

优劣

优点

  1. 适合大规模数据恢复
  2. 按照业务定时备份
  3. 对数据完整性和一致性要求不高
  4. RDB文件在内存中的加载速度比AOF快得多
    在这里插入图片描述

缺点

  1. 在一定间隔时间做一次备份,所以如果redis意外down掉的话,就会丢失从当前至最近一次快照期间的数据,快照之间的数据会丢失
  2. 内存数据全量同步,如果数据量太大会导致 I/O 严重影响服务器性能
  3. RDB依赖主进程fork,在更大的数据集中,可能导致服务器请求的瞬时延迟,fork的时候内存中的数据被克隆,大约导致两倍膨胀

数据丢失案例:

  • 使用kill -9模拟意外down
  • Redis重启恢复查看数据是否丢失

检查修复dump文件

redis-check-rdb dump6379.rdb

会触发RDB快照的情况

  1. 配置文件中默认的快照配置
  2. 手动 save / bgsave 命令
  3. 执行 flushdb / flushall 命令,但里面是空的
  4. 执行shutdown且没有设置开启AOF持久化
  5. 主从复制,主节点自动触发

禁用快照

动态停止

redis-cli config set save ""

快照禁用
redis.conf
在这里插入图片描述

Redis优化配置项

redis.conf
配置文件Snapshotting模块

  1. save
  2. dbfilename
  3. dir
  4. stop-writes-on-bgsave-error
stop-writes-on-bgsave-error yes
# 默认yes
# 如果配置成no,表示你不在乎数据不一致或者有其他的手段发现和控制这种不一致,那么在快照写入失败时,
# 也能确保redis继续接受新的写请求
  1. rdbcompression
rdbcompression yes
# 默认yes对于存储到磁盘中的快照,可以设置是否进行压缩存储。如果是的话,redis会采用LZF算法进行压缩。
# 如果你不想消耗CPU来进行压缩的话,可以设置为关闭此功能
  1. rdbchecksum
rdbchecksum yes
# 在存储快照后,还可以让redis使用CRC64算法来进行数据校验,但是这样做会增加大约10%的性能消耗
# 如果希望获取到最大的性能提升,可以关闭此功能
  1. rdb-del-sync-files
rdb-del-sync-files no
# rdb-del-sync-files:在没有持久性的情况下删除复制中使用的RDB文件启用。
# 默认情况下no,此选项是禁用的。

总结

在这里插入图片描述

AOF(Append Only File)

以日志的形式来记录每个写操作,将Redis执行过的所有写指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构建数据,换言之,redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
默认情况下,redis是没有开启AOF(append only file)的。
开启AOF功能需要设置配置:appendonly yes​

保存文件类型

appendonly.aof文件

AOF持久化工作流程

在这里插入图片描述

序号解释
1Client作为命令的来源,会有多个源头以及源源不断的请求命令。
2在这些命令到达Redis Server 以后并不是直接写入AOF文件,会将其这些命令先放入AOF缓存中进行保存。这里的AOF缓冲区实际上是内存中的一片区域,存在的目的是当这些命令达到一定量以后再写入磁盘,避免频繁的磁盘IO操作。
4随着写入AOF内容的增加为避免文件膨胀,会根据规则进行命令的合并(又称AOF重写),从而起到AOF文件压缩的目的。
5当Redis Server 服务器重启的时候会从AOF文件载入数据。

缓冲区回写频率

redis.conf
在这里插入图片描述

回写策略:

  1. Always
  2. everysec
  3. no
    在这里插入图片描述

AOF配置/启动/修复/恢复

配置文件说明

开启AOF
在这里插入图片描述
配置回写策略
默认每秒
文件保存路径
redis7
在这里插入图片描述
保存文件名称
在这里插入图片描述

在这里插入图片描述

正常恢复

配置
设置yes修改默认appendonly,改为yes
启动
重新启动

异常恢复

异常备份,例如网络波动,异常宕机

redis-check-aof --fix

优势

在这里插入图片描述

劣势

在这里插入图片描述

AOF重写机制

启动AOF文件的内容压缩,只保留可以恢复的最小指令集,自动触发和手动触发

默认配置
在这里插入图片描述
注意 ,同时满足,且的关系才会触发
1 根据上次重写后的aof大小,判断当前aof大小是不是增长了1倍
2 重写时满足的文件大小
总结
在这里插入图片描述
重写原理
1:在重写开始前,redis会创建一个“重写子进程”,这个子进程会读取现有的AOF文件,并将其包含的指令进行分析压缩并写入到一个临时文件中。
2:与此同时,主进程会将新接收到的写指令一边累积到内存缓冲区中,一边继续写入到原有的AOF文件中,这样做是保证原有的AOF文件的可用性,避免在重写过程中出现意外。
3:当“重写子进程”完成重写工作后,它会给父进程发一个信号,父进程收到信号后就会将内存中缓存的写指令追加到新AOF文件中
4:当追加结束后,redis就会用新AOF文件来代替旧AOF文件,之后再有新的写指令,就都会追加到新的AOF文件中
5:重写aof文件的操作,并没有读取旧的aof文件,而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件,这点和快照有点类似

小总结
在这里插入图片描述

AOF+RDB混合

官方建议
在这里插入图片描述

数据恢复加载流程

  • RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储
  • AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件未尾。
    在这里插入图片描述
  • 在这种情况下,当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整
  • RDB的数据不实时,同时使用两者时服务器重启也只会找AOF文件。不建议只使用AOF,因为RDB更适合用于备份数据库(AOF在不断变化不好备份),留着rdb作为一个万一的手段。

推荐方式RDB和AOF混合
结合了RDB和AOF的优点,既能快速加载又能避免丢失过多的数据

  1. 开启混合方式设置
设置aof-use-rdb-preamble的值为 yes   yes表示开启,设置为no表示禁用
  1. RDB+AOF的混合方式---------> 结论:RDB镜像做全量持久化,AOF做增量持久化

先使用RDB进行快照存储,然后使用AOF持久化记录所有的写操作,当重写策略满足或手动触发重写的时候,将最新的数据存储为新的RDB记录。这样的话,重启服务的时候会从RDB和AOF两部分恢复数据,既保证了数据完整性,又提高了恢复数据的性能。简单来说:混合持久化方式产生的文件一部分是RDB格式,一部分是AOF格式。----》AOF包括了RDB头部+AOF混写
在这里插入图片描述

纯缓存模式

同时关闭RDB和AOF

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/303024.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

(生物信息学)R语言绘图初-中-高级——3-10分文章必备——点阵图(初级)

生物信息学文章的发表要求除了思路和热点以外,图片绘制是否精美也是十分重要的,本专栏为(生物信息学)R语言绘图初-中-高级——3-10分文章必备,主要通过大量文献,总结3-10分文章中高频出现的各种图片,并给大家提供图片复现的R语言代码,及图片识读。 本专栏将向大家介绍…

数据库原理与应用期末复习试卷1

数据库原理与应用期末复习试卷1 一.单项选择题 数据库系统是采用了数据库技术的计算机系统,由系统数据库,数据库管理系统,应用系统和(C)组成。 ​ A.系统分析员 B.程序员 C.数据库管理员 D.操作员 数据库系统的体系…

基于YOLOv7算法的高精度实时19类动物目标检测识别系统(PyTorch+Pyside6+YOLOv7)

摘要:基于YOLOv7算法的高精度实时19类动物目标检测系统可用于日常生活中检测与定位19类动物目标(水牛、 斑马、 大象、 水豚、 海龟、 猫、 奶牛、 鹿、 狗、 火烈鸟、 长颈鹿、 捷豹、 袋鼠、 狮子、 鹦鹉、 企鹅、 犀牛、 羊和老虎)&#x…

基于WIFI指纹的室内定位算法matlab仿真

目录 1.算法运行效果图预览 2.算法运行软件版本 3.部分核心程序 4.算法理论概述 4.1WIFI指纹定位原理 4.2 指纹数据库建立 4.3定位 5.算法完整程序工程 1.算法运行效果图预览 2.算法运行软件版本 matlab2022a 3.部分核心程序 .....................................…

动态规划(整数拆分、不同的二叉搜索树)

343. 整数拆分 给定一个正整数 n,将其拆分为至少两个正整数的和,并使这些整数的乘积最大化。 返回你可以获得的最大乘积。 示例 1: 输入: 2 输出: 1 解释: 2 1 1, 1 1 1。 示例 2: 输入: 10 输出: 36 解释: 10 3 3 4, 3 3 4 36。 说明: 你…

JavaScript基础(25)_dom查询练习(二)

<!DOCTYPE html> <html lang"zh"> <head><meta charset"UTF-8"><title>dom查询练习二</title><link rel"stylesheet" href"../browser_default_style/reset.css"><style>form {margi…

阿里与上交大提出 LLM 长文本计算新解法:可处理文本长达 1900k 字节

在实际应用大模型的过程中&#xff0c;尤其是处理长文本的上下文信息时&#xff0c;如何高效灵活地调度计算资源成为一个学术界与工业界共同关注的问题。 大语言模型所能容纳的上下文长度直接影响了诸如 ChatGPT 等高级应用与用户交互体验的优劣程度&#xff0c;这给云环境下的…

CHS_02.1.1.2+操作系统的特征

CHS_02.1.1.2操作系统的特征 操作系统的四个特征并发这个特征为什么并发性对于操作系统来说是一个很重要的基本特性资源共享虚拟异步性 操作系统的四个特征 操作系统有并发 共享 虚拟和异部这四个基本的特征 其中 并发和共享是两个最基本的特征 二者互为存在条件 我们会按照这…

pycharm中Pyside2/QtDesigner安装和配置

目录 1、安装pyqt5 2、安装pyqt5-tools 3、在pycharm中配置Qt Designer PyQt5/QtDesigner安装和配置 1、安装pyqt5 pip install pyqt5 安装了 pyqt5 之后&#xff0c;在 python 安装目录下面的 Scripts 文件夹中&#xff0c;有一个 pyuic5.exe 文件&#xff0c;这个可执行文…

大模型上下文长度的超强扩展:从LongLoRA到LongQLoRA

前言 本文一开始是《七月论文审稿GPT第2版&#xff1a;从Meta Nougat、GPT4审稿到Mistral、LongLora Llama》中4.3节的内容&#xff0c;但考虑到 一方面&#xff0c;LongLora的实用性较高二方面&#xff0c;为了把LongLora和LongQLora更好的写清楚&#xff0c;而不至于受篇幅…

【JUC】进程和线程

目录 &#x1f4e2;什么是进程?&#x1f3a1;什么是线程?&#x1f680;进程和线程的区别?&#x1f3a2;Java 线程和操作系统的线程有啥区别&#xff1f;&#x1f396;️JDK21的虚拟线程&#x1f3af;虚拟线程和平台线程的对比 &#x1f4e2;什么是进程? 进程是程序的一次执…

1032: 员工薪水 和 1041: 数列求和2

1032: 员工薪水 某公司规定&#xff0c;销售人员工资由基本工资和销售提成两部分组成&#xff0c;其中基本工资是1500元/月&#xff0c;销售提成规则如下&#xff1a; 销售额小于等于10000元时&#xff0c;按照5%提成&#xff1b; 销售额大于10000元但小于等于50000元时&am…

2024年了,难道还不会使用谷歌DevTools么?

我相信您一定对Chrome浏览器非常熟悉,因为它是前端开发者最亲密的伙伴。我们可以使用它查看网络请求、分析网页性能以及调试最新的JavaScript功能。 除此之外,它还提供了许多功能强大但不常见的功能,这些功能可以大大提高我们的开发效率。 让我们来看看。 1. 重新发送XHR…

Java网络爬虫--概述与原理

目录标题 基本概念与原理爬虫与搜索系统的关系爬虫运行原理爬虫步骤DNS域名解析 爬虫开发本质网络爬虫的分类通用网络爬虫聚集网络爬虫增量式网络爬虫Deep Web爬虫 参考文献 基本概念与原理 爬虫又叫网络蜘蛛&#xff0c;一种运行在互联网上用来获取数据的自动程序。 互联网的…

程序员副业之AI情侣头像(手把手超详细完整全流程)

项目介绍 小黑今天给咱们分享个轻松简单的项目&#xff0c;每天不会超过半小时&#xff0c;就是用AI制作情侣头像&#xff0c;在抖音上变现。听起来是不是很科幻&#xff1f;但实际上效果杠杠的&#xff01; 最关键的是&#xff0c;收入方面&#xff0c;一单9块9&#xff0c;…

水文模型(科普类)

SWMM 模型概况&#xff1a; SWMM5 系列拥有编辑区域数据的功能&#xff0c;而且能模拟水文、 水力和水质。其核心部分是管道汇流计算模块&#xff0c;提供了恒定流法、运动波法和动力波法三种水动力学 方法。其中动力波法通过求解完整的圣维南方 程组进行计算&#xff0c;能够…

Open3D 点云下采样抽稀(7)

Open3D 点云下采样抽稀&#xff08;7&#xff09; 一、算法介绍二、算法实现1.代码 一、算法介绍 点云抽稀在计算机图形学和计算机视觉中有着广泛的应用&#xff0c;其作用包括但不限于以下几点&#xff1a; 数据压缩&#xff1a; 点云抽稀可以有效地减少点云数据量&#xff0…

浏览器使用隧道代理HTTP:洞悉无界信息

在信息爆炸的时代&#xff0c;互联网已经成为获取信息的首选渠道。然而&#xff0c;在某些地区或情况下&#xff0c;访问某些网站可能会受到限制。这时&#xff0c;隧道代理HTTP便成为了一个重要的工具&#xff0c;帮助用户突破限制&#xff0c;洞悉无界信息。 一、隧道代理HT…

【常考简答题】操作系统

目录 1、什么是进程 2、创建进程步骤 3、什么是死锁 4、死锁四个必要条件 5、什么是内存管理 6、内存管理功能 7、进程的三个基本状态转化图 8、操作系统为什么引入线程 9、什么是对换技术&#xff0c;好处是什么 10、DMA直接存取控制工作方式流程图 11、什么是假脱…

泽攸科技完全自主研制的电子束光刻机取得阶段性成果

国产电子束光刻机实现自主可控&#xff0c;是实现我国集成电路产业链自主可控的重要一环。近日&#xff0c;泽攸科技联合松山湖材料实验室开展的全自主电子束光刻机整机的开发与产业化项目取得重大进展&#xff0c;成功研制出电子束光刻系统&#xff0c;实现了电子束光刻机整机…