2、redis的持久化

redis的持久化

在redist当中,高可用的技术包括持久化,主从复制,哨兵模式,集群。

持久化是最简单的高可用的方法,作用就是备份数据。即将数据保存到硬盘,防止进程退出导致数据丢失。

redis持久化方式:

1、RDB持久化:人工或者定时的把内存当中的数据保存到硬盘,这是一种冷备份的方式(备份的时候不用关闭服务,恢复的时候需要关闭),默认的持久化方式。

2、AOF持久化:类似于mysql的二进制日志,把所有redis的操作记录在二进制日志当中,恢复的时候从二进制的内容进行恢复。全热备份,服务要重启。

AOF的持久化的实时性更好,进程意外丢失,恢复的数据是最多的,AOF是主流的持久化方式。

RDB持久化

RDB持久化:快照持久化,文件的后缀名是.rdb,redis每次重启时都会读取rdb文件进行恢复。有save和bgsave

save:可以在配置文件声明,也可以手动

  • 执行save之后,主进程会进入阻塞。
  • 读写都不能执行
  • 主进程创建rdb文件,直到rdb文件创建完成之后,进程的阻塞才能结束。

bgsave:向主进程发送一个信号,主进程fork(后台)新建一个子进程,在fork的过程中,主进程阻塞,创建完子进程之后,阻塞结束,子进程来创建rdb文件。

redis配置文件/etc/redis/redis.conf 

进入redis命令行模式,执行bgsave命令,生产新的rdb文件/var/lib/redis/dump.rdp文件,复制保存到别的目录下,恢复的话,删除新的rdb文件,把旧的rdb文件再复制过来就行。恢复过程中要先关闭redis,恢复好了之后再重启。

AOF持久化

一旦开启AOF持久化,redis会默认选择aof作为持久化方式,并且立刻读取二进制文件。

开启AOF,一定要在初始化时开启。

redis配置文件/etc/redis/redis.conf ,启用二进制日志文件。

  • 启用二进制日志文件,之前的数据都会被清空,适合初始化使用。

生产二进制日志文件/var/lib/redis/appendonly.aof,我们所有操作都记录在这个文件里,如果想要恢复日志,直接vim进去操作即可。

优化项截断

  • 当发现aof文件被截断时,如果是yes,redis在重启时发现被截断,redis会尽可能的恢复数据,继续运行;如果时no,redis在重启时发现被截断,redis会拒绝启动。
  • 截断:写入的过程中出现异常,内存当中有,但是没有完整的写入到磁盘。

AOF的rewrite机制:重写

重写表示的是压缩,当这个二进制日志文件越来越多,文件越来越大,于是就有了重写的功能,对二进制日志文件进行压缩。

bgrewriteaof进程来进行处理

redis-cli bgrewriteaof

如果涉及到数据迁移,rewrite只支持向上兼容(redis 5—>redis 6)。

RDB和AOF之间的优缺点

1、RDB的文件体积比AOF文件小,适合全量备份,速度也比AOF快。

2、RDB不能实时持久化,数据如此重要,不能够丢失。

3、RBD的兼容性比AOF要差,新老版本之间不能兼容。

4、AOF的实时持久化的,兼容性好,文本格式保存命令。

5、AOF的日志文件比较大,恢复速度比较慢,对磁盘的I/O性能要求也高。

生产中,redis的版本一定要一致,目前最稳定的是5.0.7版本

redis的性能管理

查看redis内存使用情况

  • used_memory:914128:redis数据占用的内存
  • used_memory_rss:11403264:redis向操作系统申请的内存
  • used_memory_peak:976192:redis使用系统内存的峰值(最大值)

  • allocator_frag_ratio:1.26:分配器的碎片比例,分配器的碎片越多,浪费的内存越多,这个值越小越好。
  • allocator_rss_ratio:2.60:分配器使用多少系统的内存
  • rss_overhead_ratio:2.68:rss的开销比例,占用系统的物理内存的额外开销,这个值越小越好。
  • mem_fragmentation_ratio:13.38:内存的碎片(系统分配之后,但不能利用的内存)比例,越低,内存的利用率越高

设置阈值

配置redis的初始化,必须要给redis的内存设置阈值,如果不设置阈值,只要有需要,redis会占满整个内存,而且会继续占用交换分区的空间。

设置阈值后,不会使用交换分区了,到达阈值,系统会自动回收生命周期不足的key。

设置阈值

设置回收机制

回收机制算法

volatile-lru:根据算法lru,从过期时间的数据集合当中淘汰键值,主要针对设置了ttl的键值。

volatile-ttl:根据算法,淘汰即将过期的数据,也是针对设置生命周期的数据

一直删除到小于或者等于内存阈值,才不会继续删除。

redis的雪崩、击穿和穿透

缓存雪崩:整个作为数据库缓存的键值对,全部失效,redis没有办法处理缓存,所有的请求全部集中到数据库上。

redis的雪崩的原因:

  • redis集群大面积故障
  • 所有的缓存键值对全部被删除(作为数据库缓存的键值对是不会设置生命周期)
  • 大量redis请求失败,所有的请求直接到了数据库

redis的击穿:热点数据的缓存失效,大量的热点请求全部转发到了数据库,会导致数据库的性能大幅下降。

最简单的方法是热点数据设置成永不过期。

遇到redis的击穿处理方法:

  1. 我通过mysql的慢查询日志,发现sql执行的速度突然大幅下降
  2. 查询redis,发现缓存的键值对消失了
  3. 我没有redis的密码,由专门负责数据库的人处理。

redis的缓存穿透:缓存的键值对对数据库当中都没有数据,但是依然有客户端不断在请求,黑客在利用漏洞,把大量请求绕过radis,去压垮数据库。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/947199.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【算法】模拟退火算法学习记录

写这篇博客的原因是博主本人在看某篇文章的时候,发现自己只是知道SGD这个东西,但是到底是个啥不清楚,所以百度了一下,然后在通过博客学习的时候看到了退火两个字,想到了本科做数模比赛的时候涉猎过,就上bil…

Visual Point Cloud Forecasting enables Scalable Autonomous Driving——点云论文阅读(12)

此内容是论文总结,重点看思路!! 文章概述 这篇文章介绍了一个名为 ViDAR 的视觉点云预测框架,它通过预测历史视觉输入生成未来点云,作为自动驾驶的预训练任务。ViDAR 集成了语义、三维几何和时间动态信息,有效提升了感知、预测和规划等自动驾驶核心任务的性能。实验表明…

AI 将在今年获得“永久记忆”,2028美国会耗尽能源储备

AI的“永久记忆”时代即将来临 谷歌前CEO施密特揭示了AI技术的前景,他相信即将在2025年迎来一场伟大的变化。AI将实现“永久记忆”,改变我们与科技的互动过程。施密特将现有的AI上下文窗口比作人类的短期记忆,难以持久保存信息。他的设想是…

工控主板ESM7000/6800E支持远程桌面控制

英创公司ESM7000 是面向工业领域的双核 Cortex-A7 高性能嵌入式主板,ESM6800E则为单核Cortex-A7 高性价比嵌入式主板,ESM7000、ESM6800E都是公司的成熟产品,已广泛应用于工业很多领域。ESM7000/6800E板卡中Linux系统配置为linux-4.9.11内核、…

越权漏洞简介及靶场演示

越权漏洞简介及靶场演示 文章目录 一、什么是越权? (一)越权漏洞的概念(二)越权漏洞的分类(三)常见越权方法(四)未授权访问 二、越权漏洞测试过程 (一&…

VIT:视觉transformer|学习微调记录

一、了解VIT结构 vit提出了对于图片完全采用transformer结构而不是CNN的方法,通过将图片分为patch,再将patch展开输入编码器(grid_size网格大小),最后用MLP将输出转化为对应类预测。 详细信息可以看下面这个分享&…

coredns报错plugin/forward: no nameservers found

coredns报错plugin/forward: no nameservers found并且pod无法启动 出现该报错原因 是coredns获取不到宿主机配置的dns地址 查看宿主机是否有dns地址 resolvectl status 我这里是配置正确后,如果没配置过以下是不会显示出dns地址的 给宿主机增加静态dns地址之后将…

使用Diffusion Models进行图像超分辩重建

Diffusion Models专栏文章汇总:入门与实战 前言:图像超分辨率重建是一个经典CV任务,其实LR(低分辨率)和 HR(高分辨率)图像仅在高频细节上存在差异。通过添加适当的噪声,LR 图像将变得与其 HR 对应图像无法区分。这篇博客介绍一种方式巧妙利用这个规律使用Diffusion Mod…

NineData 荣获年度“创新解决方案奖”

近日,国内知名 IT 垂直媒体 & 技术社区 IT168 再次启动“技术卓越奖”评选,由行业 CIO/CTO 大咖、技术专家及 IT 媒体多方联合评审,NineData 凭借技术性能和产品创新等方面表现出色,在数据库工具领域荣获“2024 年度创新解决方…

liunx下载gitlab

1.地址: https://mirrors.tuna.tsinghua.edu.cn/gitlab-ce/yum/el7/ 安装 postfix 并启动 yum install postfix systemctl start postfix systemctl enable postfix ssh服务启动 systemctl enable sshd systemctl start sshd开放 ssh 以及 http 服务&#xff0c…

SQL—替换字符串—replace函数用法详解

SQL—替换字符串—replace函数用法详解 REPLACE() 函数——查找一个字符串中的指定子串,并将其替换为另一个子串。 REPLACE(str, old_substring, new_substring)str:要进行替换操作的原始字符串。old_substring:要被替换的子串。new_substri…

Android笔试面试题AI答之Android基础(11)

Android入门请看《Android应用开发项目式教程》,视频、源码、答疑,手把手教 文章目录 1.Android的权限有哪些?**1. 普通权限****常见普通权限** **2. 危险权限****权限分组****常见危险权限组及权限** **3. 特殊权限****常见特殊权限** **4. …

机器学习之正则化惩罚和K折交叉验证调整逻辑回归模型

机器学习之正则化惩罚和K折交叉验证调整逻辑回归模型 目录 机器学习之正则化惩罚和K折交叉验证调整逻辑回归模型1 过拟合和欠拟合1.1 过拟合1.2 欠拟合 2 正则化惩罚2.1 概念2.2 函数2.3 正则化种类 3 K折交叉验证3.1 概念3.2 图片理解3.3 函数导入3.4 参数理解 4 训练模型K折交…

[AHK]用大模型写ahk脚本

问题背景 遇到程序在运行,但是在屏幕上看不到的窘境,于是想用AHK来实现一键在主屏幕上居中显示。 解决思路 手撸是不可能手撸的,我有豆包我有cursor,于是想看看她俩到底能力咋样。 提示词 用AHK v2实现:热键WinC …

Word如何插入图片并移动到某个位置

Word如何插入图片并移动到某一个位置 新建word→插入→图片 选择合适的位置→选择图片→打开 点击图片→布局选项→选择文字环绕下的任意一个→固定在页面上 点击图片就可以将图片移动到任意位置

ElasticSearch7.10-分词器

文章目录 分词器1.字符过滤器1.介绍2.过滤html标签3.mappings过滤规则(屏蔽非文明用语)4.正则替换 2.自定义分词器1.代码2.查询 3.中文分词器1.下载ik分词器7.10.0版本(跟es对应)2.应用ik分词器1.进入插件目录下创建一个ik目录2.将…

python利用selenium实现大麦网抢票

大麦网(damai.cn)是中国领先的现场娱乐票务平台,涵盖演唱会、音乐会、话剧、歌剧、体育赛事等多种门票销售。由于其平台上经常会有热门演出,抢票成为许多用户关注的焦点。然而,由于票务资源的有限性,以及大…

Linux 笔记 SELinux 常见操作与介绍

SELinux(Security-Enhanced Linux)是 Linux 操作系统中的一种安全模块,旨在提供更细粒度的访问控制。它最初由美国国家安全局(NSA)开发,目的是增强 Linux 系统的安全性。SELinux 通过强制访问控制&#xff…

Elasticsearch VS Easysearch 性能测试

压测环境 虚拟机配置 使用阿里云上规格:ecs.u1-c1m4.4xlarge,PL2: 单盘 IOPS 性能上限 10 万 (适用的云盘容量范围:461GiB - 64TiB) vCPU内存 (GiB)磁盘(GB)带宽(Gbit/s)数量1664500500024 Easysearch 配置 7 节点…

javacript中function (res) {}与箭头函数表达式(res) =>{}的区别

javacript中function (res) {}与(res) >{}的区别 function (res) {} 代码演示 let shape {name:长方形,say:function(){console.log(我是this.name)setTimeout(function(){console.log(3秒后输出我是: this.name); //this.name为undefined}, 3000)} }shape.sa…
最新文章