【Redis】持久化

文章目录

  • 一、RDB
    • 1.1、RDB的自动备份与手动备份
      • 1.1.1、自动备份
      • 1.1.2、手动备份
    • 1.2、RDB优点
    • 1.3、RDB缺点
    • 1.4、RDB快照
    • 1.5、RDB优化配置项
  • 二、AOF
    • 2.1、AOF工作流程
    • 2.2、AOF写回策略
    • 2.3、MP-AOF实现
    • 2.4、AOF优缺点
    • 2.5、AOF重写机制
  • 三、RDB+AOF混合持久化
    • 3.1、数据恢复顺序和加载流程
  • 四、纯缓存模式

一、RDB

RDB持久化是以指定的时间间隔，将内存中的数据集快照写入磁盘。其保存的文件是 dump.rdb文件。

1.1、RDB的自动备份与手动备份

1.1.1、自动备份

RDB触发备份
将配置修改如下

save 5 2
dir /myredis/dumpfiles
dbfilename dump.rdb

redis中执行两次操作时会保存一次dump.rdb文件。
此时若使用FLUSHDB，redis会保存空数据到dump.rdb中
此时若使用SHUTDOWN，redis会把当前的数据保存到dump.rdb中

RDB 恢复备份
  重启redis时，redis会通过加载redis.conf中的dump.rdb的文件路径来恢复redis数据库。
注：不可以把备份文件dump.rdb和生产redis服务器放在同一台机器，必须分开各自存储，以防生产机物理损坏后备份文件也挂了。

1.1.2、手动备份

  Redis手动生成了两个命令来生成RDB文件，分别是SAVE和BGSAVE，其中一般使用BGSAVE
  由于使用SAVE会在主程序中执行会阻塞当前redis服务器，直到持久化工作完成。执行SAVE命令期间，Redis不能处理其他命令，所以在线上禁止使用SAVE。
  使用BGSAVE会在后台异步进行快照操作，不阻塞快照同时还可以响应客户端请求，该触发方式会fork一个子进程由子进程复制持久化过程。
  并且还可以使用LASTSAVE命令获取最后一次成功执行快照的时间。

1.2、RDB优点

  • RDB非常适合灾难恢复，它是一个可以传输到远程数据中心的压缩文件。
  • RDB最大限度地提高了Redis的性能，因为Redis父进程为了持久化而需要做的唯一工作就是派生一个将所有其余工作都完成的子进程。父进程永远不会执行磁盘I/O或类似操作。
  • 与AOF相比，RDB允许使用大数据集更快地重启。
  • 在副本上，RDB支持重启和故障转移后的部分重新同步。

1.3、RDB缺点

  • 如果Redis由于任何原因没有在正常关闭的情况下停止工作，那最新分钟的数据可能会丢失。
  • 内存数据的全量同步，如果数据量太大会导致I/O严重影响服务器性能。
  • RDB需要经常fork()以便使用子进程在磁盘上持久化。如果数据集很大，fork()会很耗时。

1.4、RDB快照

  触发RDB快照的操作有：

  • 配置文件中默认的快照配置
  • 手动SAVE/BGSAVE命令
  • 执行FLUSHDB/FLUSHALL命令
  • 执行SHUTDOWN且没有设置开启AOF持久化
  • 主从复制时，主节点自动触发

禁用快照的方法：

  • 动态停止RDB保存规则的方法：redis-cli config set save ""
  • 快照禁用，在配置文件redis.conf中修改save ""

1.5、RDB优化配置项

  RDB的优化配置项在配置文件redis.conf的SNAPSHOTTING模块中

save <seconds> <changes>
# 在规定的时间内或者几次修改后自动保存到磁盘

dbfilename  # dump.rdb的文件名

dir # dump.rdb所在的路径

stop-writes-on-bgsave-error
# 默认为yes，在bgsave报错后停止写入
# no表示在快照写入失败时，也能确保redis继续接受新的写请求。

rdbcompression
# 对于存储到磁盘的快照是否压缩存储。
# yes，redis会使用LZF算法进行压缩
# no，减少CPU在这方面的消耗

rdbchecksum
# 合法性校验
# 默认yes，redis使用CRC64算法进行数据校验
# no，关闭校验，提高性能

rdb-del-sync-files
# 默认no，禁用此选项

二、AOF

  AOF是以日志形式来记录每个写操作，将Redis执行过的所有写指令记录下来，并且只允许追加文件不允许改写文件，在redis启动的时候读取该文件并且将写指令从前往后执行一遍以完成数据的恢复工作。
  默认情况下，redis没有开启AOF，通过appendonly yes来开启。它保存的文件名为appendonly.aof。

2.1、AOF工作流程

在这里插入图片描述

序号详细步骤
1客户端会产生请求命令发送至服务端
2命令到达服务端后，并没有直接写入AOF文件，先保存在AOF缓存中，AOF缓存的目的是当这些命令到达一定数量后再写入磁盘，避免频繁的磁盘IO操作
3AOF缓存根据AOF缓冲区同步文件的三种写回策略将命令写入磁盘的AOF文件
4由于AOF文件内容的增加，为了避免膨胀，进行AOF重写完成命令的合并，从而达到AOF文件压缩的目的
5服务端重启后，会从AOF文件载入数据

2.2、AOF写回策略

  AOF有三种写回策略，默认是everysec

配置项写回时机优点缺点
always同步写回可靠性高、数据不丢失每个写命令都要写磁盘，IO量大，性能影响较大
everysec每秒写回性能适中宕机时丢失1秒内的数据
no由操作系统控制写回性能好宕机时丢失的数据较多

2.3、MP-AOF实现

  MP-AOF就是将原来的单个AOF文件拆分成多个AOF文件。AOF的类型有：

  • BASE：基础AOF，由子进程通过重写产生，最多只有一个
  • INCR：增量AOF，一般会在AOFRW开始执行时创建，可能存在多个
  • HISTORY：AOFRW成功完成后，所有的BASE和INCR AOF都变成HISTORY，该类型的AOF会被Redis自动删除。

  为了管理这些AOF文件，还引入了manifest文件来追踪管理这些AOF，总的来说，Redis7以后的AOF文件结构如下：

// 几种类型文件的前缀，后面跟着有关序列和类型的附加信息
appendfilename "appendonly.aof"

//新版本增加的目录配置项目
appenddirname "appendonlydir"

//具体文件
1、基本文件
	appendonly.aof.1.base.aof
2、增量文件
	appendonly.aof.1.incr.aof
	appendonly.aof.2.incr.aof
3、清单文件
	appendonly.aof.manifest

2.4、AOF优缺点

优势

  • 使用AOF Redis更加持久，使用每秒fsync策略既可以保证写入性能，也可以减少redis宕机时丢失的数据。
  • AOF日志是一个仅附加的日志，因此不会出现寻道问题，也不会在断电时出现损坏问题，即使日志以写一半的命令结尾，redis-check-aof工具也能轻松修复。
  • Redis能够自动重写AOF，从而减少AOF的磁盘占用空间。
  • 即使使用FLUSHALL命令刷新了所有内容，也可以通过删除AOF中的最新内容来恢复数据。

劣势

  • AOF文件通常比相同数据集的RDB文件大，回复速度慢于RDB
  • AOF运行效率低于RDB，每秒同步策略效率好，不同步的话效率和RDB相同。

2.5、AOF重写机制

  重写机制通过启动AOF文件的内容压缩，只保留可以恢复数据的最小指令集。它并不是对源文件进行重新整理，而是直接读取服务器现有的键值对，然后用一条命令去代替之前记录这个键值对的多条命令，生成一个新的文件去替换原来的AOF文件。
触发机制
  手动方式通过命令bgrewriteaof命令触发
  自动方式通过配置文件的选项触发

auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
# 这里表示被重写的aof文件既要达到之前大小的一倍又要超过64mb才会自动重写

  触发重写后，相应AOF文件的序号会增加，例如：

appendonly.aof.1.base.aof
appendonly.aof.1.incr.aof

## 变成

appendonly.aof.2.base.aof
appendonly.aof.2.incr.aof

重写原理

  • 在重写开始前，redis会创建一个“重写子进程”，这个子进程会读取现有的AOF文件，并将其包含的指令分析压缩并写入一个临时文件中。
  • 主进程将新接收到的写指令一边累计到内存缓冲区中，一边继续写入到原有的AOF文件中，保证了AOF文件的可用性，避免在重写过程中出现意外。
  • 当“重写子进程”完成重写工作后，它会给父进程发送一个信号，父进程收到信号后将内存中缓存的写指令追加到新AOF文件中。
  • 追加结束后，redis使用新的aof文件替换旧的aof文件，之后新的写指令都会追加到新的aof文件中。
  • 重写aof文件的操作，并没有读取旧的aof文件，而是将整个内存中的数据库用命令的方式重写了一个新的aof文件

三、RDB+AOF混合持久化

  结合了RDB和AOF的优点，既能快速加载又能避免丢失过多的数据。这种混合方式的具体流程是先使用RDB进行快照存储，然后使用AOF持久化记录所有写操作，当重写策略满足或手动触发重写的时候，将最新的数据存储为新的RDB记录。这样重启服务的时候会从RDB和AOF两方恢复数据，兼具了数据完整性和性能。
  简单来说，混合持久化使得AOF=RDB头部+AOF混写

3.1、数据恢复顺序和加载流程

  在RDB和AOF都启用的情况下，AOF的优先级高于RDB，redis会先判断AOF文件是否存在，如果不存在的话才会使用RDB
在这里插入图片描述

四、纯缓存模式

  纯缓存模式是关闭redis服务器的持久化功能从而提高服务器性能的方式。主要方法是同时关闭RDB和AOF

禁用rdb
  修改配置文件参数save ""，禁用rdb持久化模式下，我们仍然可以使用命令save、bgsave生成rdb文件

禁用aof
  修改配置文件参数appendonly no，禁用aof持久化模式下，我们仍然可以使用命令bgwriteaof生成aof文件

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/530411.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

阿里云OSS使用流程

阿里云OSS使用流程

准备工作 无论怎么样&#xff0c;你需要准备一个阿里云账号&#xff0c;点击&#xff1a;注册阿里云 输入相关信息&#xff0c;然后注册成功以后&#xff0c;点击 然后注册成功了&#xff0c;实名一下阿里云账号。打开实名入口&#xff0c;选择个人实名或者企业实名。 如果你…
阅读更多...
windows wireshark抓包rtmp推流出现TCP Retransmission

windows wireshark抓包rtmp推流出现TCP Retransmission

解决办法&#xff1a;tcp.port1935 && !(tcp.analysis.retransmission)
阅读更多...
签名失败当前系统没有安装苹果根证书

签名失败当前系统没有安装苹果根证书

发生背景 第一次我没有iOS证书(.p12)和描述文件(.mobileprovision)。按照这个文档https://ask.dcloud.net.cn/article/152拿到后&#xff0c;安心打包出问题。 错误信息 [Info] begin getCertCName... [Info] begin codesignFramwork to ipa... [Error] DCUniBase.framework…
阅读更多...
设计模式系列：单例模式

设计模式系列：单例模式

作者持续关注WPS二次开发专题系列&#xff0c;持续为大家带来更多有价值的WPS开发技术细节&#xff0c;如果能够帮助到您&#xff0c;请帮忙来个一键三连&#xff0c;更多问题请联系我&#xff08;WPS二次开发QQ群:250325397&#xff09;&#xff0c;摸鱼吹牛嗨起来&#xff01…
阅读更多...
RabbitMQ如何保证消息的幂等性？？？

RabbitMQ如何保证消息的幂等性？？？

在RabbitMQ中&#xff0c;保证消费者的幂等性主要依赖于业务设计和实现&#xff0c;而非RabbitMQ本身提供的一种直接功能。 在基于Spring Boot整合RabbitMQ的场景下&#xff0c;要保证消费者的幂等性&#xff0c;通常需要结合业务逻辑设计以及额外的技术手段来实现。以下是一个…
阅读更多...
嵌入式学习51-单片机4

嵌入式学习51-单片机4

知识零碎&#xff1a; nop空指令 CRC校验 为了保证51单片与温度传感18b20 之间的高电平 采用一个上拉电阻改变电平的高低 温度寄存器原理
阅读更多...
react17+antd4 动态渲染导航菜单中的icon

react17+antd4 动态渲染导航菜单中的icon

在路由信息对照表中的icon可以有两种形式&#xff1a;一种是组件形式&#xff0c;一种是字符串形式的。 在antd4的Menu.Item和SubMenu中的icon属性的格式为&#xff1a; 1.组件形式 这种方法在渲染时很方便&#xff0c;与antd中的Menu.Item中的icon属性的形式是一致的&#…
阅读更多...
51单片机+TN901非接触式红外测温设计论文与源码PCB等资料

51单片机+TN901非接触式红外测温设计论文与源码PCB等资料

1、摘要 温度测量技术应用十分广泛&#xff0c;而且在现代设备故障检测领域中也是一项非常重要的技术。但在某些应用领域中&#xff0c;要求测量温度用的传感器不能与被测物体相接触&#xff0c;这就需要一种非接触的测温方式来满足上述测温需求。本论文正是应上述实际需求而设…
阅读更多...
如何让MacOS「终端」走代理

如何让MacOS「终端」走代理

在 MacOS 操作系统中&#xff0c;默认情况下&#xff0c;终端命令行不会通过代理进行网络连接。这导致在应用软件研发过程中&#xff0c;许多需要通过命令行下载安装的软件或依赖包无法成功安装。经常出现Failed to connect to xxx port 443 after 75329 ms: Couldnt connect t…
阅读更多...
【资源分享】MAC上最好用的截图软件-Snipaste

【资源分享】MAC上最好用的截图软件-Snipaste

::: block-1 “时问桫椤“是一个关注本科生到研究生教育阶段的不严肃的公众号&#xff0c;希望能在大家迷茫、难受、困难之时帮助到大家。用广大研究生的经验总结&#xff0c;让大家能尽早的适应研究生生活&#xff0c;尽快的看透科研本质。祝好&#xff01;&#xff01;&#…
阅读更多...
OLAP在线实时 数据分析平台

OLAP在线实时 数据分析平台

随着业务的增长&#xff0c;精细化运营的提出&#xff0c;产品对数据部门提出了更高的要求&#xff0c;包括需要对实时数据进行查询分析&#xff0c;快速调整运营策略&#xff1b;对小部分人群做 AB 实验&#xff0c;验证新功能的有效性&#xff1b;减少数据查询时间&#xff0…
阅读更多...
IntelliJ IDEA 2024.1安装与激活[破解]

IntelliJ IDEA 2024.1安装与激活[破解]

一&#xff1a;IDEA官方下载 ①如题&#xff0c;先到IDEA官方下载&#xff0c;简简单单 ②IDEA官方&#xff1a;IntelliJ IDEA – the Leading Java and Kotlin IDE 二&#xff1a;获取脚本 &#x1f31f;网盘下载&#xff1a;jetbra (密码&#xff1a;lzh7) &#x1f31f;获取…
阅读更多...
macOS制作C/C++ app

macOS制作C/C++ app

C/C制作macOS .app 一、 .app APP其实是一个文件夹结构&#xff0c;只不过mac的界面中让它看起来像一个单独的文件。 在shell终端或者右键查看包结构即可看到APP的目录结构。 通常的app目录结构如下&#xff1a; _CodeSignature, CodeResources 一般为Mac APP Store上架程序…
阅读更多...
Redis的RDB文件

Redis的RDB文件

Redis持久化 Redis是操作内存的&#xff0c;所以是内存数据库&#xff0c;断电即失&#xff0c;所以需要持久化 RDB 文件名:dump.rdb # The filename where to dump the DB dbfilename dump.rdb在指定时间间隔内&#xff0c;将内存中的数据&#xff0c;集体快照写入磁盘内&…
阅读更多...
FineBI概述

FineBI概述

FineBI是一款商业智能&#xff08;Business Intelligence&#xff09;工具&#xff0c;它通过最终业务用户自主分析企业已有的信息化数据&#xff0c;帮助企业发现并解决存在的问题&#xff0c;协助企业及时调整策略做出更好的决策&#xff0c;增强企业的可持续竞争性。它以自助…
阅读更多...
HDFS读、写数据流程（图解）以及元数据的checkpoint机制

HDFS读、写数据流程（图解）以及元数据的checkpoint机制

一、HDFS概述 HDFS集群由NameNode,DataNode,SecondaryNameNode构成。 NameNode&#xff1a;接受用户请求。存储元数据&#xff08;描述文件的数据&#xff0c;如文件名、文件大小、目录名、文件创建时间等&#xff09; DataNode&#xff1a;负责管理用户的文件数据块&#xff0…
阅读更多...
openGauss学习笔记-259 openGauss性能调优-使用Plan Hint进行调优-指定不使用全局计划缓存的Hint

openGauss学习笔记-259 openGauss性能调优-使用Plan Hint进行调优-指定不使用全局计划缓存的Hint

文章目录 openGauss学习笔记-259 openGauss性能调优-使用Plan Hint进行调优-指定不使用全局计划缓存的Hint259.1 功能描述259.2 语法格式259.3 示例 openGauss学习笔记-259 openGauss性能调优-使用Plan Hint进行调优-指定不使用全局计划缓存的Hint 259.1 功能描述 全局计划缓…
阅读更多...
Linux内核之原子操作atomic_t用法实例(三十九)

Linux内核之原子操作atomic_t用法实例(三十九)

简介&#xff1a; CSDN博客专家&#xff0c;专注Android/Linux系统&#xff0c;分享多mic语音方案、音视频、编解码等技术&#xff0c;与大家一起成长&#xff01; 优质专栏&#xff1a;Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 优质专栏&#xff1a;多媒…
阅读更多...
MYSQL 8.0版本修改用户密码(知道登录密码)和Sqlyog错误码2058一案

MYSQL 8.0版本修改用户密码(知道登录密码)和Sqlyog错误码2058一案

今天准备使用sqlyog连接一下我Linux上面的mysql数据库&#xff0c;然后就报如下错误 有一个简单的办法就是修改密码为password就完事!然后我就开始查找如何修改密码! 如果是需要解决Sqlyog错误码2058的话&#xff0c;执行以下命令&#xff0c;但是注意root对应host是不是loca…
阅读更多...
【目标检测】-入门知识

【目标检测】-入门知识

1、回归与分类问题 回归问题是指给定输入变量（特征）和一个连续的输出变量（标签），建立一个函数来预测输出变量的值。换句话说，回归问题的目标是预测一个连续的输出值，例如预测房价、股票价格、销售额等。回归问题通常使用回归分析技术，例如线性回归、多项式回归、决策树…
阅读更多...
最新文章

Copyright @ 2022~2023