Redis缓存淘汰策略

Redis缓存淘汰策略

1、各种面试题

  • 生产上你们的redis内存设置多少?
  • 如何配置、修改redis的内存大小
  • 如果内存满了你怎么办?
  • redis清理内存的方式?定期删除和惰性删除了解过吗?
  • redis缓存淘汰策略有哪些?分别是什么?你用哪个?
  • redis的LRU了解过吗?请手写LRU。
  • lru和lfu算法的区别是什么?

2、Redis内存

Redis内存满了怎么办?redis默认内存多少?在哪里查看?如何设置修改?

查看Redis最大占用内存

在redis配置文件中,MEMORY MANAGEMENT选项

image-20231126160325070

如果不设置最大内存大小或者设置最大内存大小为0,在64位操作系统下不限制内存大小,在32位操作系统下最多使用3GB内存。

image-20231126160616423

注意,在64bit系统下,maxmemory设置为0表示不限制 Redis内存使用

一般推荐Redis设置内存为最大物理内存的四分之三

怎么修改内存大小?

  1. 修改配置文件然后重启即可。

    举例:配个100M

    image-20231126161938594

  2. 可以直接通过命令修改config set maxmemory 104857600当然这个一重启就没有了只是暂时的。

    image-20231126162111172

查看redis内存使用情况

  1. info memory
  2. config get maxmeory

image-20231126162347814

真要打满了会怎么样? 如果Redis内存使用超出了设置的最大值会怎样?

我们把内存设置成1字节

image-20231126162629590

image-20231126162700277

报OOM的错误。

所以,有一个场景,没有加上过期时间就会导致数据写满maxmemory,为了避免类似情况,我们需要内存淘汰策略。

往redis里写的数据是怎么没了的?它如何删除的?

  • redis过期键的删除策略

    如果一个键是过期的,那它到了过期时间之后是不是马上就从内存中被被删除呢?

    并不是的

  • 三种不同的删除策略

    1. 立即删除。–对CPU不友好,用处理器性能换取存储空间(拿时间换空间)

      Redis不可能时时刻刻都遍历所有被设置了生存时间的key,来检查数据是否到了过期时间,然后删除它,立即删除能保证内存中数据的最大新鲜度,因为它保证过期建值会在过期后马上删除,它所占的内存也会得到释放。但是立即删除是对CPU一个不小的压力,删除操作会占用CPU时间,如果此时的CPU正非常的忙,比如它正在做交集或者排序计算时,就会给CPU造成额外的压力,这样会产生大量的性能消耗,同时也会影响数据的读取操作。

    2. 惰性删除。–对memory不友好,用存储空间换取处理器性能(拿空间换时间)

      数据到达过期时间,不做处理,等到下次访问该数据时,如果未过期,返回数据,如果已经过期,就删除,返回不存在。

      惰性删除的缺点就是太占内存。

      如果一个键已经过期,而这个键又仍然保留在redis中,那么只要这个过期键不被删除,它所占用的内存就不会释放。
      在使用惰性删除策略时,如果数据库中有非常多的过期键,而这些过期键又恰好没有被访问到的话,那么它们也许永远也不会被删除(除非用户手动执行FLUSHDB),我们甚至可以将这种情况看作是一种内存泄漏-无用的垃圾数据占用了大量的内存,而服务器却不会自己去释放它们,这对于运行状态非常依赖于内存的Redis服务器来说,肯定不是一个好消息。

      开启惰性淘汰,lazyfree-lazy-eviction=yes

      image-20231126164623110

    3. 上面俩方案都极端,折中一下---->定期删除

      定期删除策略是前两种方案的折中

      定期删除策略每隔一段时间执行一次删除过期键操作并通过限制删除操作执行时长和频率来减少删除操作对CPU时间的影响。

      周期性轮询redis库中的时效性数据,采用随机抽取的策略,利用过期数据占比的方式控制删除频度

      特点1:CPU性能占用设置有峰值,检测频度可自定义设置
      特点2:内存压力不是很大,长期占用内存的冷数据会被持续清理总结:周期性抽查存储空间(随机抽查,重点抽查)

      redis默认每隔100ms检查是否有过期的key,有过期key则删除。注意: redis不是每隔100ms将所有的key检查一次而是随机抽取进行检查(如果每隔100ms,全部key进行检查,redis直接进去ICU)。因此,如果只采用定期删除策略,会导致很多key到时间没有删除。

      定期删除策略的难点是确定删除操作执行的时长和频率:如果删除操作执行得太频繁或者执行的时间太长,定期删除策略就会退化成立即删除策略,以至于将CPU时间过多地消耗在删除过期键上面。如果删除操作执行得太少,或者执行的时间太短,定期删除策略又会和惰性删除束略一样,出现浪费内存的情况。因此,如果采用定期删除策略的话,服务器必须根据情况,合理地设置删除操作的执行时长和执行频率。

  • 总会有漏网之鱼的,定期删除时,从来没有被抽查到,惰性删除时,也从来没有被点中使用过,然后就会导致大量的key堆积在内存中,导致redis内存空间紧张或者很快耗尽,所以得有缓存淘汰策略。

3、Redis缓存淘汰策略

先看配置文件中的配置在哪

image-20231126170252192

3.1、lru和lfu算法的区别

此时计算机操作系统学的东西要想起来了!!!

LRU

最近最少使用页面置换算法,淘汰最长时间未使用的页面,看页面最后一次被使用到发生调度的时间长短,时间长的就被淘汰了。

LFU

最近最不常用页面置换算法,淘汰一定时期内被访问次数最少的页,看一定时间段内页面被使用的频率,淘汰一定时期内被访问次数最少的页。

举例:

某次时期Time为10分钟,如果每分钟进行一次调页,主存块为3,若所需页面走向为2121234假设到页面4时会发生缺页中断
若按LRU算法,应换页面1(1页面最久未被使用),但按LFU算法应换页面3(十分钟内,页面3只使用了一次)
可见LRU关键是看页面最后一次被使用到发生调度的时间长短,而LFU关键是看一定时间段内页面被使用的频率!

看一下操作系统的书

image-20231126171749832

image-20231126171802420

3.2、有哪些缓存淘汰策略?

一共8种

  1. noeviction:不会驱逐任何key,表示即使内存达到上限也不进行置换,所有能引起内存增加的命令都会返回erro。(默认的就是这个策略)
  2. alkeys-lru:对所有key使用LRU算法进行删除,优先删除掉最近最不经常使用的key,用以保存新数据。
  3. volatile-Iru:对所有设置了过期时间的key使用LRU算法进行删除。
  4. allkeys-random:对所有key随机删除。
  5. volatile-random:对所有设置了过期时间的key随机删除。
  6. volatile-ttl:删除马上要过期的key。
  7. allkeys-Ifu:对所有key使用LFU算法进行删除。
  8. volatile-lfu:对所有设置了过期时间的key使用LFU算法进行删除。

3.3、上面的小结

两个维度四个方面,2*4=8

两个维度:

  • 过期键中筛选
  • 所有键中筛选

四个方面

  • LRU
  • LFU
  • random
  • ttl

3.4、平时使用哪一种?

  • 在所有的key都是最近最经常使用,那么就需要选择allkeys-lru进行置换最近最不经常使用的key,如果你不确定使用哪种策略,那么推荐使用allkeys-Iru(推荐)
  • 如果所有的 key的访问概率都是差不多的,那么可以选用allkeys-random策略去置换数据
  • 如果对数据有足够的了解,能够为key 指定hint(命中,通过expire/ttl指定),那么可以选择volatile-ttl进行置换

redis缓存淘汰策略配置性能建议

  • 避免存储bigkey
  • 开启惰性淘汰,lazyfree-lazy-eviction=yes

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/202191.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

FastApi接收不到Apifox发送的from-data字符串_解决方法

接收不到Apifox发送的from-data字符串_解决方法 问题描述解决方法弯路总结弯路描述纵观全局小结 问题描述 这里写了一个接口,功能是上传文件,接口参数是file文件和一个id字符串 gpt_router.post("/uploadfiles") async def create_upload_fi…

基于ora2pg迁移Oracle19C到postgreSQL14

📢📢📢📣📣📣 哈喽!大家好,我是【IT邦德】,江湖人称jeames007,10余年DBA及大数据工作经验 一位上进心十足的【大数据领域博主】!😜&am…

linux socket套接字

文章目录 socket流socket(TCP)数据报socket(UDP) 讨论 socket 所谓套接字,就是对网络中不同主机上的应用程序之间进行双向通信的端点的抽象。一个套接字就是网络上进程通信的一端,套接字提供了应用层进程利…

AI - FlowField(流场寻路)

FlowField流场寻路,利用网格存储每个点对目标点的推力,网格上的单位根据对于推力进行移动。用于大量单位进行寻路对于同一目的地的寻路,常用于rts游戏等。 对应一张网格地图(图中黑块是不可行走区域) 生成热度图 计算所有网格对于目标点(…

【Flutter】graphic图表实现tooltip一段时间后自动隐藏

概述 graphic图表中提供了自定义tooltip的事件,可通过selections中on和clear配置手势选项和可识别设备,默认情况下tooltip需要双击隐藏,但这并不符合我们的需求。通过调研发现,若想实现tooltip隔几秒后隐藏,可通过Str…

西工大网络空间安全学院计算机系统基础实验一(9, 10, 11, 12, 13)

还是那句话,专心做好你自己的,老老实实把基础打好,不要被其他人带跑节奏,不要跟他打,跟着这系列博客,稳扎稳打一步一步来。即使你VMware workstation没下载好,即使你Ubuntu虚拟机没配好&#xf…

【数据挖掘】国科大刘莹老师数据挖掘课程作业 —— 第三次作业

Written Part 1. 基于表 1 1 1 回答下列问题(min_sup40%, min_conf75%): Transaction IDItems Bought0001{a, d, e}0024{a, b, c, e}0012{a, b, d, e}0031{a, c, d, e}0015{b, c, e}0022{b, d, e}0029{c, d}0040{a, b, c}0033{a, d, e}0038…

【计算机网络笔记】交换机

系列文章目录 什么是计算机网络? 什么是网络协议? 计算机网络的结构 数据交换之电路交换 数据交换之报文交换和分组交换 分组交换 vs 电路交换 计算机网络性能(1)——速率、带宽、延迟 计算机网络性能(2)…

Vue3依赖注入

适用场景 尤其针对一个变量需要从顶层组件开始透传,途径很多个子组件最后在第n代子组件使用的时候。对于这些途经的子组件而言,它们不但不使用而且完全不关心该变量具体是什么,只是作为一个传递工具罢了。这种情况下,使用依赖注入…

asla四大开源组件应用示例(alsa-lib、alsa-utils、alsa-tools、alsa-plugins)

文章目录 alsa设备文件/dev/snd//sys/class/sound/proc/asoundalsa-lib示例1alsa-utilsalsa-toolsalsa-plugins参考alsa设备文件 /dev/snd/ alsa设备文件目录位于,/dev/snd,如下所示 root@xboard:~#ls /dev/snd -l total 0 drwxr-xr-x 2 root root 60 Nov 6 2023 …

vuepress-----7、发布在GitHub

# 7、发布在GitHub 在你的项目中,创建一个如下的 deploy.sh 文件(请自行判断去掉高亮行的注释): #!/usr/bin/env sh# 确保脚本抛出遇到的错误 set -e# 生成静态文件 npm run docs:build# 进入生成的文件夹 cd docs/.vuepress/dist# 如果是发…

PTA_2023年软件设计综合实践_10(回溯法与分治限界法)

7-1 桥本分数 将1-9九个数不重复地赋给不同的9个元素 ,实现形如a/bcd/eff/hi 的形式。例:1/265/784/39 1/325/967/84 (注意:1/265/784/39 和5/781/264/39 只能算一种解),共有多少种不同的解。 语言选C #…

36 - 电商系统表设计优化案例分析

如果在业务架构设计初期,表结构没有设计好,那么后期随着业务以及数据量的增多,系统就很容易出现瓶颈。如果表结构扩展性差,业务耦合度将会越来越高,系统的复杂度也将随之增加。这一讲我将以电商系统中的表结构设计为例…

服务器数据恢复—V7000存储raid5崩溃导致上层卷无法使用的数据恢复案例

服务器数据恢复环境: 某品牌V7000存储中有一组由几十块硬盘组建的raid5阵列。上层操作系统为windows server,NTFS分区。 服务器故障: 有一块硬盘出现故障离线,热备盘自动上线替换离线硬盘。在热备盘上线同步数据的过程&#xff0c…

【springboot】idea项目启动端口被占用

问题 idea本地启动springboot项目端口老是被占用 解决 关闭被占用的端口进程 步骤: 1. winR打开程序框 2. 查出被占用端口的进程id netstat -ano | finderstr 端口号 例如 netstat -ano | finderstr 81013.杀死进程 taskkill /pid 进程id -t -f 例如 taskkill /pid 2…

TZOJ 1369 求绝对值

答案&#xff1a; #include<stdio.h> int main() {double a0.0; 要求输入实数&#xff0c;实数包括小数&#xff0c;所以不能用int&#xff0c;只能用浮点型doublewhile (scanf("%lf", &a) ! EOF) //多组数据输入{if (a < 0.0) //如果是负数a -a…

用IDEA创建Java类时,自动生成作者、时间和版本号、注释等信息

1.File->settings… 2、Editor->File and Code Templates->Includes->File Header(双击)&#xff0c;然后在右边输入框内输入代码即可 代码可以直接复制 /*** Author 作者名* Date ${DATE} ${TIME}* version 1.0* 注释*/上边你也可以自定义生成的内容。

Spring 日志

日志的作用: 1.定位和发现问题 2.系统监控 3.数据采集 观察日志 先写一段打印日志的代码 日志内容 日志级别分类 默认日志级别是Info,级别一下的就不打印了 Spring 帮我们集成了日志框架,我们直接使用即可 我们测试一下用日志框架打印日志是如何 我们就会发现打印的结果跟…

内测分发平台应用的异地容灾和负载均衡处理和实现思路

内测分发平台应用的异地容灾和负载均衡处理和实现思路 ​ 内测分发平台在软件开发过程中起着至关重要的作用&#xff0c;它不仅可以帮助开发者将应用程序传播给内部测试人员&#xff0c;还可以收集反馈、跟踪错误并改进产品。然而&#xff0c;为了确保一个平稳、连贯的内测过…

血的教训--kail系统免密centos7的坑【高版本ssh免密低版本ssh的坑】

血的教训–kail系统免密centos7的坑【高版本ssh免密低版本ssh的坑】 最近下载了一个2023版本的kail系统&#xff0c;但是经过几次设置免密后&#xff0c;ssh过去一直让提供密码&#xff0c;所以就仔细的分析了一下&#xff0c;果然还是发现了点猫腻 接上一个博客&#xff0c;大…