Redis的持久化以及性能管理

目录

一、Redis持久化概述

1.什么是Redis持久化

2.持久化方式 

3.RDB持久化

3.1概念

3.2触发条件

3.3执行流程 

3.4启动时加载 

4. AOF持久化

4.1概念

4.2启动AOF

4.3执行流程 

4.4启动时加载 

5.RDB和AOF的优缺点 

二、Redis性能管理 

1.查看Redis内存使用

2.内存碎片率 

2.1定义

2.2内存碎片的来源 

2.3监测内存碎片率的重要性 

2.4优化建议 

3.内存使用率 

3.1定义

3.2避免内存交换发生的方法

3.3监控和优化

4.内存回收key

4.1内存回收策略

4.2配置最大内存策略

4.3可用的回收策略

4.4实施建议


一、Redis持久化概述

1.什么是Redis持久化

Redis 是一个内存数据库,数据存储在内存中,为了避免因意外断电等原因导致数据丢失,Redis 提供了持久化功能,可以将内存中的数据定期保存到硬盘上

2.持久化方式 

一、RDB持久化(快照持久化)

①定期将内存中的数据生成快照并保存为二进制文件(.rdb)
②可以手动触发(`SAVE` 或 `BGSAVE`),也可以根据配置的时间和操作次数自动触发

二、AOF持久化(追加文件持久化)

①记录每个写操作的日志,将这些命令追加到文件(.aof)中
②Redis 重启时,通过执行 AOF 文件中的命令恢复数据
③支持多种同步策略,以平衡性能和数据安全性

3.RDB持久化

3.1概念

RDB 持久化是指在指定时间间隔内将内存中的数据生成快照,并保存到硬盘中(因此也称为快照持久化)。它使用二进制压缩格式存储,生成的文件后缀为 `.rdb`。当 Redis 重新启动时,可以读取该快照文件来恢复数据。这种方式的优点是性能较高,适合大规模数据恢复,但可能导致在最后一次快照后产生的数据丢失

3.2触发条件

手动触发:
save命令:

会生成 RDB 文件,但会阻塞 Redis 服务器进程,直到文件创建完成。在此期间,服务器无法处理任何命令请求,基本已被废弃
bgsave:

会创建一个子进程来生成 RDB 文件,父进程继续处理请求。虽然在子进程创建时会短暂阻塞,但整体上不会影响主进程,因此在生产环境中推荐使用 BGSAVE

自动触发:
自动触发的 RDB 持久化同样优先使用 BGSAVE。可以在配置文件中通过 `save m n` 指定触发条件

可在配置文件里修改参数

vim /etc/redis/6379.conf
--219行--以下三个save条件满足任意一个时,都会引起bgsave的调用
save 900 1 :当时间到900秒时,如果redis数据发生了至少1次变化,则执行bgsave
save 300 10 :当时间到300秒时,如果redis数据发生了至少10次变化,则执行bgsave
save 60 10000 :当时间到60秒时,如果redis数据发生了至少10000次变化,则执行bgsave
--254行--指定RDB文件名
dbfilename dump.rdb
--264行--指定RDB文件和AOF文件所在目录
dir /var/lib/redis/6379
--242行--是否开启RDB文件压缩
rdbcompression yes

3.3执行流程 

1. 父进程检查:
Redis 父进程首先检查当前是否正在执行 SAVE、BGSAVE 或 BGREWRITEAOF。如果正在执行,BGSAVE 命令将直接返回,不会启动新的子进程。这是为了避免并发的子进程同时进行大量磁盘写操作,从而引起性能问题

2. 创建子进程:
如果没有其他持久化操作正在进行,父进程会执行 fork 操作来创建子进程。在此过程中,父进程会阻塞,无法处理来自客户端的任何命令

3. 返回信息:
 一旦成功 fork 后,BGSAVE 命令返回“Background saving started”信息,父进程解除阻塞,可以继续响应其他命令

4. 子进程创建 RDB 文件:
子进程负责根据父进程的内存快照生成 RDB 文件。它会创建一个临时快照文件,完成后通过原子操作替换旧的 RDB 文件

5. 完成信号:
子进程在完成 RDB 文件的生成后,会向父进程发送信号,表示持久化操作已完成。父进程接收到信号后,会更新相关的统计信息

3.4启动时加载 

1. 自动加载:
RDB 文件的加载在 Redis 服务器启动时自动执行,无需专门命令

2. 优先级:
当 AOF(Append-Only File)开启时,Redis 优先加载 AOF 文件以恢复数据。只有在 AOF 关闭的情况下,Redis 才会检测并加载 RDB 文件

3. 阻塞状态:
在加载 RDB 文件期间,Redis 服务器会处于阻塞状态,无法处理任何客户端请求,直到加载完成

4. 文件校验:
Redis 在载入 RDB 文件时,会进行文件完整性校验。如果发现文件损坏,会在日志中记录错误,并导致 Redis 启动失败

4. AOF持久化

4.1概念

AOF(Append-Only File)持久化是 Redis 的一种数据持久化机制,它将 Redis 执行的每次写入和删除命令记录到一个单独的日志文件中。与 RDB 持久化将进程数据快照写入文件不同,AOF 只记录变更操作,而查询操作则不会被记录

4.2启动AOF

开启AOF持久化需要修改配置文件
vim /etc/redis/6379.conf
--700行--修改,开启AOF
appendonly yes
--704行--指定AOF文件名称
appendfilename "appendonly.aof"
--796行--是否忽略最后一条可能存在问题的指令
aof-load-truncated yes

重启Redis服务器使配置生效
/etc/init.d/redis_6379 restart

4.3执行流程 

1. 命令追加 (Append)

写命令追加
①Redis 将接收到的每个写入和删除命令追加到缓冲区 `aof_buf` 中,而不是直接写入磁盘。这种方式减少了频繁的硬盘 I/O 操作,提高了性能
②命令以 Redis 协议的文本格式存储,确保兼容性和可读性

2. 文件写入 (Write) 和文件同步 (Sync)
同步策略
Redis 提供了三种 AOF 缓存区的同步策略:

①appendfsync always:
每次写命令后,立即调用 fsync 同步到 AOF 文件,确保数据安全,但会降低性能

②appendfsync no:
写入后仅调用 write,不进行 fsync 同步,由操作系统负责。这种方式性能较好,但数据安全性较差

③appendfsync everysecond(默认):
写入后调用 write,然后每秒由专门的线程调用一次 fsync。这种方式在性能与数据安全性之间取得平衡,是推荐的配置

3. 文件重写 (Rewrite)
定期重写:
为防止 AOF 文件过大,Redis 定期进行 AOF 文件重写。它会生成一个新的压缩版本,保留必要的写命令,从而减少磁盘占用

4.4启动时加载 

主要特点

1. 优先加载 AOF:
Redis启动时会检查 AOF 文件。如果 AOF 文件存在且有效,Redis 将优先使用它来恢复数据

2. AOF 文件不存在时的行为:
如果 AOF 文件开启但不存在,即使 RDB 文件存在,Redis 也不会加载 RDB 文件

3. 文件校验:
Redis 在加载 AOF 文件时,会对文件进行校验。如果发现文件损坏,启动将失败,并在日志中记录错误信息

4. 不完整的 AOF 文件:
如果 AOF 文件的结尾不完整(如因为机器突然宕机导致),但 `aof-load-truncated` 参数开启(默认开启),Redis 会忽略 AOF 文件的尾部数据,并成功启动,同时在日志中输出警告

配置参数

aof-load-truncated:
该参数控制在 AOF 文件尾部不完整时的行为。开启时,Redis 会在启动时忽略不完整的部分,确保能继续运行;关闭时,Redis 将因文件损坏而无法启动

5.RDB和AOF的优缺点 

RDB持久化
优点:
①文件紧凑,体积小,传输快,适合全量复制
②恢复速度快
③对性能影响较小

缺点:
①不支持实时持久化,数据丢失风险较高
②兼容性差,旧版本Redis可能无法读取新版本RDB文件
③在执行bgsave时,主进程会被阻塞,IO压力增大

AOF持久化
优点:
①支持秒级持久化,能更好地保护数据
②兼容性好,容易与不同版本的Redis配合使用

缺点:
①文件体积较大,恢复速度慢
②对性能影响大,频繁写入导致IO压力增加,可能引发AOF追加阻塞问题
③类似于RDB的重写过程也会导致阻塞和IO压力

二、Redis性能管理 

1.查看Redis内存使用

登录到redis数据库,然后查看redis内存使用情况
redis-cli -h 172.16.58.10 -p 6379
172.16.58.10:6379> info memory
# Memory
used_memory:853304
used_memory_human:833.30K
used_memory_rss:10510336
used_memory_rss_human:10.02M
used_memory_peak:853304
used_memory_peak_human:833.30K
used_memory_peak_perc:100.01%
used_memory_overhead:841078
used_memory_startup:791384
used_memory_dataset:12226
used_memory_dataset_perc:19.74%
allocator_allocated:1661928
allocator_active:2068480
allocator_resident:9039872
total_system_memory:1911857152
total_system_memory_human:1.78G
used_memory_lua:37888
used_memory_lua_human:37.00K
used_memory_scripts:0
used_memory_scripts_human:0B
number_of_cached_scripts:0
maxmemory:0
maxmemory_human:0B
maxmemory_policy:noeviction
allocator_frag_ratio:1.24
allocator_frag_bytes:406552
allocator_rss_ratio:4.37
allocator_rss_bytes:6971392
rss_overhead_ratio:1.16
rss_overhead_bytes:1470464
mem_fragmentation_ratio:12.94
mem_fragmentation_bytes:9698056
mem_not_counted_for_evict:0
mem_replication_backlog:0
mem_clients_slaves:0
mem_clients_normal:49694
mem_aof_buffer:0
mem_allocator:jemalloc-5.1.0
active_defrag_running:0
lazyfree_pending_objects:0

2.内存碎片率 

2.1定义

内存碎片率 = used_memory_rss / used_memory,其中:
①used_memory_rss:Redis 实例所占的物理内存,包括内存碎片
②used_memory:Redis 实际使用的内存总量

2.2内存碎片的来源 

内存碎片是由于操作系统在分配和回收内存时未能有效利用物理内存导致的,尤其是在需要分配大块连续内存时

2.3监测内存碎片率的重要性 

合理范围:
①稍大于1:表示内存碎片较低,Redis 性能良好
②超过1.5:表示内存使用效率低,需采取措施(如重启 Redis)
③低于1:表示内存分配超出物理内存,操作系统在进行交换,需增加物理内存或优化 Redis 内存使用

2.4优化建议 

①定期监控内存碎片率,使用 redis-cli 进行性能分析
②在内存碎片率较高时,考虑使用SHUTDOWN SAVE命令重启Redis实例,以清理内存碎片
③如果碎片率长期较高,可能需要优化数据结构或配置 Redis 的内存管理策略

3.内存使用率 

3.1定义

当 Redis 实例的内存使用率超过可用的最大内存时,操作系统将开始使用交换空间(swap),这可能导致性能下降

3.2避免内存交换发生的方法

1. 根据缓存数据大小选择 Redis 实例:
在部署 Redis 时,确保实例的内存配置足以容纳预期的数据量,避免内存超限

2. 使用 Hash 数据结构:
Hash 数据结构比其他数据结构(如字符串或列表)更有效地利用内存,特别是在存储多个字段的数据时,能减少内存开销

3. 设置 Key 的过期时间:
通过设置适当的过期时间,确保不再使用的数据能及时被清理,从而释放内存,降低内存使用率

3.3监控和优化

①定期监控内存使用情况:

使用 INFO memory 命令查看内存使用率,及时发现潜在问题
②调整 Redis 配置:根据实际使用情况,考虑调整最大内存配置或优化数据存储方式,以减少内存占用 

4.内存回收key

4.1内存回收策略

内存清理策略旨在合理分配 Redis 的有限内存资源,当达到设置的最大内存阈值时,必须选择一种策略来回收键(key)

4.2配置最大内存策略

配置最大内存策略
在配置文件 /etc/redis/6379.conf 中,可以修改 maxmemory-policy 属性来设定内存回收策略。默认情况下,策略是 noeviction,即禁止删除数据

4.3可用的回收策略

1. volatile-lru:
使用最近最少使用(LRU)算法从设置了过期时间的键中淘汰数据。主要针对那些设置了 TTL 的键

2. volatile-ttl:
从已设置过期时间的键中挑选即将过期的键进行淘汰,优先移除即将过期的键

3. volatile-random:
随机选择设置了过期时间的键进行淘汰,适用于那些设置了 TTL 的键

4. allkeys-lru:
使用 LRU 算法从所有键中淘汰数据,而不仅限于设置了过期时间的键

5. allkeys-random:
随机从所有键中选择数据进行淘汰,适用于任意键

6. noeviction:
禁止淘汰数据。若内存达到最大阈值,后续的写入操作将返回错误

4.4实施建议

①选择合适的策略:

根据应用场景选择最适合的回收策略,确保系统性能与数据存储需求的平衡
②定期监控:

监控内存使用情况,确保选择的策略能够有效管理内存,避免出现内存溢出或性能下降的情况

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/908804.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

科研绘图系列:R语言组合连线图和箱线图(linechart+boxplot)

文章目录 介绍加载R包数据数据预处理画图1画图2系统信息介绍 连线图(Line Chart)是一种常用的数据可视化图表,它通过将一系列数据点用直线段连接起来来展示数据随时间或有序类别变化的趋势。以下是连线图可以表示的一些内容: 时间序列数据:展示数据随时间变化的趋势,例如…

Webserver(3.1)线程

目录 创建线程终止线程连接已终止的进程二级指针 线程分离线程取消线程属性线程同步多线程卖票 创建线程 编译时需要加-pthread gcc pthread_create.c -o create -pthread#include<pthread.h> #include<stdio.h> #include<string.h> #include<unistd.h&…

WPS实现手机电脑同步文件

复制链接&#xff0c;发送微信&#xff0c;即可在手机端打开同步编辑文档。 当手机编辑文档后&#xff0c;会有如下提示: 根据提示&#xff0c;可选择文件更新版本。

ES海量数据插入如何优化性能?

2024年10月NJSD技术盛典暨第十届NJSD软件开发者大会、第八届IAS互联网架构大会在南京召开。百度文心快码总经理臧志分享了《AI原生研发新范式的实践与思考》&#xff0c;探讨了大模型赋能下的研发变革及如何在公司和行业中落地&#xff0c;AI原生研发新范式的内涵和推动经验。 …

【linux】HTTPS 协议原理

1. 了解 HTTPS 协议原理 &#xff08;一&#xff09;认识 HTTPS HTTPS 也是一种应用层协议&#xff0c;是在 HTTP 协议的基础上引入了一个加密层 因为 HTTP协议的内容都是按照文本的方式进行传输的&#xff0c;这个过程中&#xff0c;可能会出现一些篡改的情况 &#xff08;…

labview学习总结

labview学习总结 安装labview的特点一、图形化编程范式二、并行执行机制三、硬件集成能力四、应用领域优势五、开发效率六、系统集成能力**labview基本组成示意图****常用程序结构图解**结语 基础知识介绍界面前后面板的概念平铺式和层叠式 帧的概念结构类型顺序结构for循环whi…

PostgreSQL技术内幕17:PG分区表

文章目录 0.简介1.概念介绍2.分区表技术产生的背景3.分区类型及使用方式4.实现原理4.1 分区表创建4.2 分区表查询4.3 分区表写入4.4 分区表删除 0.简介 本文主要介绍PG中分区表的概念&#xff0c;产生分区表技术的原因&#xff0c;使用方式和其内部实现原理&#xff0c;旨在能…

RHCSA课后练习3(网络与磁盘)

1、配置网络&#xff1a;为网卡添加一个本网段IPV4地址&#xff0c;x.x.x.123 涉及的知识点 配置网络&#xff1a; ens160&#xff1a;en---表示以太网 wl---表示无线局域网 ww---表示无线广域网 注意&#xff1a;一个网络接口&#xff0c;可以有多个网络连接&#xff0c;但…

开发人员需要知道的 20个Git命令行技巧

前言 大多数开发人员每天都会使用 Git&#xff0c;但许多人只是对其功能略知一二。 学习一些 git 命令行技巧可以改变游戏规则&#xff0c;让你更高效、更有成效&#xff0c;对版本控制更有信心。 那么&#xff0c;让我们深入了解每个开发人员工具包中都应该有的 20 个 Git …

第十一章 综合案例--“精品课程网站“开发

1.网站的开发流程 网站开发流程通常分为几个关键阶段&#xff0c;每个阶段都有其特定的任务和目标。以下是一个典型的网站开发流程&#xff1a; 1. 需求分析 目标设定&#xff1a;明确网站的目标和目的。 受众研究&#xff1a;确定目标用户&#xff0c;了解他们的需求和偏好。…

VSCode 1.82之后的vscode server离线安装

概述 因为今天在公司开发项目的时候&#xff0c;需要离线配置vscode远程开发环境&#xff0c; 根据参考链接1配置了一遍&#xff0c;不管怎么重启&#xff0c;VSCODE都还是提示下载vscode server&#xff0c;后面在官方issue上找到了解决方案 解决方案 修改Remote SSH的配置…

Linux和,FreeRTOS 任务调度原理,r0-r15寄存器,以及移植freertos(一)

目录、 1、r0-r15寄存器&#xff0c;保护现场&#xff0c;任务切换的原理 2、freertos移植 3、freertos的任务管理。 一、前言 写这篇文章的目的&#xff0c;是之前面试官&#xff0c;刚好问到我&#xff0c;移植FreeRTOS 到mcu&#xff0c;需要做哪些步骤&#xff0c;当时回…

「Mac畅玩鸿蒙与硬件28」UI互动应用篇5 - 滑动选择器实现

本篇将带你实现一个滑动选择器应用&#xff0c;用户可以通过滑动条选择不同的数值&#xff0c;并实时查看选定的值和提示。这是一个学习如何使用 Slider 组件、状态管理和动态文本更新的良好实践。 关键词 UI互动应用Slider 组件状态管理动态数值更新用户交互 一、功能说明 在…

云服务器防火墙设置方法

云服务器防火墙设置方法通常包括&#xff1a;第一步&#xff1a;登录控制台&#xff0c;第二步&#xff1a;配置安全组规则&#xff0c;第三步&#xff1a;添加和编辑规则&#xff0c;第四步&#xff1a;启用或停用规则&#xff0c;第五步&#xff1a;保存并应用配置。云服务器…

数据中台一键大解析!

自从互联玩企业掀起了数据中台风&#xff0c;数据中台这个点马上就火起来了&#xff0c;短短几年数据中台就得到了极高的热度&#xff0c;一大堆企业也在跟风做数据中台&#xff0c;都把数据中台作为企业数字化转型的救命稻草&#xff0c;可是如果我告诉你数据中台并不是万能钥…

【第一个qt项目的实现和介绍以及程序分析】【正点原子】嵌入式Qt5 C++开发视频

qt项目的实现和介绍 1.第一个qt项目  &#xff08;1).创建qt工程    [1].创建一个存放qt的目录    [2].新建一个qt工程    [3].编译第一个工程    发生错误时的解决方式 二.QT文件介绍  (1).工程中文件简单介绍  (2).项目文件代码流程介绍    [1].添…

计算机网络:网络层 —— 网络地址转换 NAT

文章目录 网络地址转换 NAT 概述最基本的 NAT 方法NAT 转换表的作用 网络地址与端口号转换 NAPTNAT 和 NAPT 的缺陷 网络地址转换 NAT 概述 尽管因特网采用了无分类编址方法来减缓 IPv4 地址空间耗尽的速度&#xff0c;但由于因特网用户数量的急剧增长&#xff0c;特别是大量小…

【算法】【优选算法】双指针(下)

目录 一、611.有效三⻆形的个数1.1 左右指针解法1.2 暴力解法 二、LCR 179.查找总价格为目标值的两个商品2.1 左右指针解法2.2 暴力解法 三、15.三数之和3.1 左右指针解法3.2 暴力解法 四、18.四数之和4.1 左右指针解法4.2 暴力解法 一、611.有效三⻆形的个数 题目链接&#x…

面试题分享11月1日

1、过滤器和拦截器的区别 过滤器是基于spring的 拦截器是基于Java Web的 2、session 和 cookie 的区别、关系 cookie session 存储位置 保存在浏览器 &#xff08;客户端&#xff09; 保存在服务器 存储数据大小 限制大小&#xff0c;存储数据约为4KB 不限制大小&…

VR 创业之路:从《I Expect You To Die》到未来展望

今年是 Reality Labs 成立 10 周年&#xff0c;Meta 每周都会与不同的 XR 先驱进行交流&#xff0c;探讨他们在行业中的经历、经验教训以及对未来的展望。本次&#xff0c;他们与游戏设计师、作家兼 Schell Games CEO Jesse Schell 进行了深入交谈&#xff0c;了解了他的个人故…