【Redis】持久化机制

目录

前言:

RDB

触发RDB持久化方法有俩种:

1.手动触发

2.自动触发

RDB文件的优缺点:

AOF: 

 AOF工作机制:​编辑

​编辑重写机制:


前言:

Redis是一个内存数据库,将数据存储在内存中,追求速度快,但内存中的数据是不持久的,遇到突发情况,一旦重启内存中数据就没了~

为了保证速度快,数据一定要存储在内存中,但为了持久,数据也得存储在硬盘中;

插入一个新的数据,内存和硬盘都要写入,当查询数据的时候,从内存中读取即可;

硬盘上的数据为了Redis重启的时候,用来恢复内存中的数据;虽然同一份数据存储了俩遍,但硬盘比较便宜,无所谓~

Redis实现持久化方式:
1.RDB(Redis DataBase)定期备份
2.AOF (Append Only File)  实时备份


RDB

RDB持久化将内存中的所有数据,写入到硬盘中,生成一个“快照”,一旦重启之后,后面可以根据这个“快照”将数据恢复到内存中

快照路径: cd /var/lib/redis

 文件是一个二进制文件,里面的内容不可乱修改,如果后续再启动Redis的时候,发现格式有错误,有可能数据加载失败,导致启动不了Redis

    rdb文件中的数据,不是插入了数据,就会立即更新的!!!

    此次的数值可以修改的 但是生成一个rdb快照本身就是一个比较高的成本,不能让这个操作执行太频繁~

    假设此时在 10:00:00 生成了一次rdb

    10:00:01 这时redis插入了10000条数据

    10:01:00 生成下一个“快照”


    此时如果在10:00:01时间点服务器挂了 那么后面的数据将全部丢失

    所以在RDB机制下可能会丢失数据

    触发RDB持久化方法有俩种:

    1.手动触发

    • save命令:执行sava命令时候,redis将全力以赴的执行快照生成操作,将会阻塞redis其他客户端的命令,直到RDB过程完成,将会造成长时间的阻塞(不推荐使用)



    • bgsave命令:background(后面)不会影响redis服务器处理其他客户端的命令和请求,会执行“fork”操作,生成一个子进程;父进程继续处理客户端请求,让这个子进程负责持久化操作;子进程会生成一个新的RDB文件,将数据写入这个新的文件;子进程完成数据写入并关闭文件时,父进程会接受到信号,通知RDB文件更新完成;最后父进程会使用新的RDB文件,确保持久化的内容是新的,如果持久化发生错误,那么Redis会保持原来的RDB文件,确保数据一致性;

    由于持久化速度太快,很难凭肉眼观看是否文件已经持久化,可以通过linux中的stat命令,查看文件的inode编号~~

    2.自动触发

    1. 使用 save 配置。如 "save m n" 表示 m 秒内数据集发生了 n 次修改,自动 RDB 持久化。


    2. 从节点进行全量复制操作时,主节点自动进行 RDB 持久化,随后将 RDB 文件内容发送给从结点。 
    3. 执行 shutdown 命令(类似service redis-server restart)关闭 Redis 时,执行 RDB 持久化。

    RDB文件的优缺点:

    •  RDB 是一个紧凑压缩的二进制文件,代表 Redis 在某个时间点上的数据快照。非常适用于备份,全量复制等场景。比如每 6小时执行 bgsave 备份,并把 RDB 文件复制到远程机器或者文件系统中(如 hdfs)用于灾备。 
    • Redis 加载 RDB 恢复数据远远快于 AOF 的方式。

     RDB使用二进制的方式组织数据,AOF利用文本的方式组织数据

    • RDB 方式数据没办法做到实时持久化 / 秒级持久化。因为 bgsave 每次运行都要执行 fork 创建子进程,属于重量级操作,频繁执行成本过高。
    • RDB 文件使用特定二进制格式保存,Redis 版本演进过程中有多个 RDB 版本,兼容性可能有风险

    RDB最大的问题在于不能实时化保存数据,在俩次快照之间,实时的数据可能会丢失的情况; 


    AOF: 

    AOF (Append Only File)持久化主要作用是解决了数据持久化的实时性

    类似MySQL中的binlog,将用户的每次操作,记录到文件中,实时的记录了每一条数据,当Redis重新启动,会读取AOF文件中的数据,用来恢复数据;

    当开启AOF的时候,RDB不再生效;

     所在的位置跟RDB文件地址一样 /var/lib/redis

     

     AOF工作机制:

    为什么AOF又写内存还写硬盘,会影响Redis运行速度吗?

    实际上是没有影响的

    1.AOF机制并非直接把数据写入硬盘,而是写入内存缓冲区,累积一波,再统一写入硬盘,大大减低了写硬盘的次数;

    2.AOF是顺序写入数据,读取数据的时候是比随机写入快很多的

    如果在AOF写入内存缓冲区的时候,Redis掉电,那么数据也会丢失,但Redis提供了一些选项,供你选择缓冲区的刷新策略:


    重写机制:

    当AOF文件持续增大时,就会影响到Redis下次启动时间~

    AOF文件中有一些内容是冗余的

    例如

    set key 111 set key 222 set key 333 ->  set key 333

    set key 111 del key  set key2 222 del key2 -> 啥都不做即可

    因此Redis存在一个机制,可以将AOF文件进行整理操作,能够剔除其中的冗余操作,达到合并的效果,给AOF文件达到瘦身的效果

     

    父进程fork创建子进程,父进程仍然接收客户端的请求,子进程针对AOF文件重写,与RDB类似

    此时子节点继承了父进程的内存状态,但fork之后新来的请求,子节点并不知道;所以父节点准备了一个aof_rewrite_buf缓冲区专门放fork之后收到的数据,最后,当子节点把AOF数据写入完通知信号给父进程时,父进程再把 aof_rewrite_buf缓冲区内容一起写入新的AOF文件中~
    所以AOF是实时备份;


    选择: 

    因为AOF按文本的方式写入文件,但文本格式后续加载成本太高
    最后Redis采用了“混合持久化”的方法,结合AOF和RDB的优点,有文本也有二进制数据

    在Redis重启根据持久化恢复数据,会以AOF为主,因为数据更全

    本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/958290.html

    如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

    相关文章

    蓝桥杯lesson3---string的使用

    🌈个人主页:羽晨同学 💫个人格言:“成为自己未来的主人~” string的概念 string字符串是一种更加高级的封装,string字符串中包含了大量的方法,这些方法使得字符串的操作变得更加简单,string的使用&…

    Arduino D1 通过 Wi-Fi 控制 LED

    Arduino D1 通过 Wi-Fi 控制 LED 硬件连接 将 LED 的正极(长脚)连接到 Arduino D1 的 D1 引脚。将 LED 的负极(短脚)通过一个电阻(例如 220 欧姆)连接到 Arduino D1 的 GND 引脚。 安装必要的库 在 Ard…

    大模型 / 智能体在智能运维领域的应用总结与发展趋势概述

    智能体 智能运维 ? 回顾大模型的发展 大模型的发展在过去两年间呈现出爆炸式的增长,成为推动人工智能领域快速进步的关键力量。 2023年3月:百度发布了其知识增强的大语言模型产品“文心一言”,这标志着国内AI大模型产业竞争的…

    Unity中在UI上画线

    在UI中画一条曲线 我封装了一个组件,可以实现基本的画线需求. 效果 按住鼠标左键随手一画. 用起来也很简单,将组件挂到空物体上就行了,红色的背景是Panel. 你可以将该组件理解为一个Image,只不过形状更灵活一些罢了,所以它要放在下面的层级(不然可能会被挡住). 代码 可以…

    【自然语言处理(NLP)】介绍、发展史

    文章目录 介绍发展史1. 规则驱动时期(20世纪50年代-80年代)技术特点标志性成果 2. 统计方法兴起(1990年代-2000年代)技术特点标志性成果 3. 神经网络复兴(2010年代初至今)技术特点标志性成果 4. 集成与应用…

    【书籍连载】《软件测试架构实践与精准测试》| 川模型的价值

    各位软件领域的精英们,今天小编邀请你继续深入学习《软件测试架构实践与精准测试》。 《软件测试架构实践与精准测试》是作者李龙(安畅检测首席技术专家)基于软件测试“川模型”的著作。本书结合作者首次提出的软件测试新的模型“川模型”测试…

    RPC是什么?和HTTP区别?

    RPC 是什么?HTTP 是什么? 作为一个程序员,假设我们需要从A电脑的进程发送一段数据到B电脑的进程,我们一般会在代码中使用 Socket 进行编程。 此时,可选性一般就是 TCP 和 UDP 二选一,由于 TCP 可靠、UDP…

    08.七种排序算法实现(C语言)

    目录 一.排序的基本概念 1.1 排序的概念 1.2 常见的排序算法 二.常见排序算法的实现 2.1 插入排序(直接) 1.基本思想 2.直接插入排序的特性 3.代码实现 2.2 希尔排序 1.基本思想 2.希尔插入排序的特性 3.代码实现 2.3 选择排序 1.基本思想 2…

    Jmeter使用Request URL请求接口

    简介 在Jmeter调试接口时,有时不清楚后端服务接口的具体路径,可以使用Request URL和cookie来实现接口请求。以下内容以使用cookie鉴权的接口举例。 步骤 ① 登录网站后获取具体的Request URL和cookie信息 通过浏览器获取到Request URL和cookie&#…

    Apache Tomcat文件包含漏洞复现(详细教程)

    1.漏洞原理 Tomcat 服务器是一个免费的开放源代码的Web 应用服务器,其安装后会默认开启ajp连接器,方便与其他web服务器通过ajp协议进行交互。属于轻量级应用服务器,在中小型系统和并发访问用户不是很多的场合下被普遍使用,是开发…

    fpga学习入门 串口rs232回环

    奇偶检验位这里是省略了 做好回环后可以使用上位机做回环测试,top文件写的方式就是将rx(fpga端)接受到的模块(pc端)tx发送出去,这两个端口用杜邦线连接,同理模块的rx连接fpga的tx,…

    KETTLE-SAP抽数报错RFC_ERROR_SYSTEM_FAILURE

    KETTLE调SAP 合并ECCS相关的函数时报错 2025/01/23 17:56:02 - SAP input.0 - ERROR (version 8.2.0.0-342, build 8.2.0.0-342 from 2018-11-14 10.30.55 by buildguy) : Unexpected error 2025/01/23 17:56:02 - SAP input.0 - ERROR (version 8.2.0.0-342, build 8.2.0.0-3…

    HTTP 配置与应用(局域网)

    想做一个自己学习的有关的csdn账号,努力奋斗......会更新我计算机网络实验课程的所有内容,还有其他的学习知识^_^,为自己巩固一下所学知识,下次更新HTTP 配置与应用(不同网段)。 我是一个萌新小白&#xf…

    C++AVL树(一)详解

    文章目录 AVL树概念AVL树的插入平衡因子的更新旋转的规则左单旋右单旋抽象的情况h0h1h 2h 3 AVL树 概念 AVL树是一棵平衡二叉查找树,AVL树是空树,保证左右子树都是AVL树,AVL树要求高度差的绝对值不超过1,因为最好情况是1&#…

    MCP Server 开发实战:无缝对接 LLM 和 Elasticsearch

    在一文带你入门 MCP(模型上下文协议)文章中,我们快速介绍了 MCP 的基本概念,并且通过一个示例让读者初步感受到了 MCP 的强大能力。本文将进一步深入,带领读者一步步学习如何开发一个完整的 MCP Server。本文的完整代码…

    Kubernetes v1.28.0安装dashboard v2.6.1(k8s图形化操作界面)

    准备工作 Kubernetes v1.28.0搭建教程请参考:Kubernetes v1.28.0集群快速搭建教程-CSDN博客 查看当前集群nodes都是ready状态 查看当前pods都是running状态 下载并修改配置文件 下载 recommended.yaml ,下载好之后,进入文件编辑 下载地址…

    设计模式的艺术-职责链模式

    行为型模式的名称、定义、学习难度和使用频率如下表所示: 1.如何理解职责链模式 最常见的职责链是直线型,即沿着一条单向的链来传递请求。链上的每一个对象都是请求处理者,职责链模式可以将请求的处理者组织成一条链,并让请求沿着…

    通过脚本申请免费SSL证书(泛解析SSL证书)

    参考来源 1.https://github.com/acmesh-official/acme.sh/wiki/%E8%AF%B4%E6%98%8E 2.https://github.com/acmesh-official/acme.sh/wiki/dns-manual-mode 3.https://github.com/acmesh-official/acme.sh/wiki/dnsapi 安装 acme.sh 配置账号 配置默认CA 安装依赖 # Cento…

    CrypTen项目实践

    CrypTen是一个用于安全多方计算(MPC)的python库,基于PyTorch构建。 CrypTen facebookresearch/CrypTen: A framework for Privacy Preserving Machine Learning 目录 一、实践准备 二、实践操作 1.下载WSL 2.下载代码 3.创建虚拟环境&…

    【CS61A 2024秋】Python入门课,全过程记录P3(Week5 Sequences开始,更新于2025/1/23)

    文章目录 关于基本介绍👋新的问题Week5Mon Sequences阅读材料 关于 个人博客,里面偶尔更新,最近比较忙。发一些总结的帖子和思考。 江湖有缘相见🤝。如果读者想和我交个朋友可以加我好友(见主页or个人博客&#xff0…