缓存穿透、缓存击穿和缓存雪崩

csdntup

👏作者简介:大家好,我是爱发博客的嗯哼,爱好Java的小菜鸟
🔥如果感觉博主的文章还不错的话,请👍三连支持👍一下博主哦
📝社区论坛:希望大家能加入社区共同进步
🧑‍💼个人博客:智慧笔记
📕系列专栏:Redis

文章目录

  • 前言
  • 一、问题前引
  • 二、缓存穿透
    • 1. 问题描述
    • 2. 问题解决
      • 2.1 缓存空数据
      • 2.2 布隆过滤器
  • 三、缓存击穿
    • 1. 问题描述
    • 2. 问题解决
      • 2.1 设置逻辑过期
      • 2.2 设置互斥锁
  • 四、缓存雪崩
    • 1. 问题描述
    • 2. 问题解决
      • 2.1 设置随机过期时间
      • 2.2 缓存高可用
  • 总结
  • 结语

前言

一聊到redis,必不可少的就是缓存三兄弟的问题,即缓存穿透、缓存击穿和缓存雪崩,这三个问题在业务场景中相对来说比较常见的,也是比较基础的三种问题。那么这三种问题是如何引起的,并且应该如何解决,就是本章探讨的话题。


一、问题前引

大家都知道,Redis一般搭配MySQL来使用,来充当缓存处理一些业务数据。但为什么要Redis用来充当缓存呢,不能直接使用MySQL吗?

当然是可以的,但是对于一些请求量大并发次数高的场景就有问题了。

MySQL是基于磁盘的,请求查询速度偏慢,所以就需要一个基于内存的速度快的工具来缓存这些数据,Redis就应运而生了。而且当大量请求到来时,只有MySQL的话,有可能承受不住大量请求导致MySQL宕机,此时就会影响到整个服务器,所以Redis此时又充当了一个保护缓冲的作用。

二、缓存穿透

1. 问题描述

缓存穿透主要体现在穿透两个字上,穿透即为穿过缓存,打到数据库上。

当一个请求访问的时候,此时Redis没有缓存该数据,然后去数据库查询该数据也查询到,说明没有该数据。
在这里插入图片描述

此时你或许还不以为然,不就一个空数据吗?多稀罕啊。

但如果该请求是恶意请求,此时无数条请求同时访问,缓存中没有,全部都会打在数据库上,刚好还是类似于

select * from table where name = "李白"

表中有1000万条数据,name字段也没有创建索引。这时候问题是不是就大了?服务器稍微差一点,就会直接宕机。
在这里插入图片描述

这时你或许该问了,那该如何解决呢?不要急,机智的程序猿肯定有应对之法。

2. 问题解决

2.1 缓存空数据

如果此时将请求的数据缓存起来,是不是就可以避免请求打到数据库了?

你现在或许又要问了,空数据怎么缓存呢?没错,就是缓存空数据

如果请求的数据查询数据为空的话,就将该数据为空值缓存到Redis中,以后每次请求都直接访问Redis,查询到该数据,直接返回空值。这样就避免恶意请求全部打到数据库了。
在这里插入图片描述

2.2 布隆过滤器

不了解布隆过滤器的同学可以看这篇文章硬核 | Redis 布隆(Bloom Filter)过滤器原理与实战

布隆过滤器 (Bloom Filter)是由 Burton Howard Bloom 于 1970 年提出,它是一种 space efficient 的概率型数据结构,用于判断一个元素是否在集合中。

当布隆过滤器说,某个数据存在时,这个数据可能不存在;当布隆过滤器说,某个数据不存在时,那么这个数据一定不存在

哈希表也能用于判断元素是否在集合中,但是布隆过滤器只需要哈希表的 1/8 或 1/4 的空间复杂度就能完成同样的问题。

布隆过滤器可以插入元素,但不可以删除已有元素

其中的元素越多,false positive rate(误报率)越大,但是 false negative (漏报)是不可能的。
布隆过滤器原理

BloomFilter 的算法是,首先分配一块内存空间做 bit 数组,数组的 bit 位初始值全部设为 0。

加入元素时,采用 k 个相互独立的 Hash 函数计算,然后将元素 Hash 映射的 K 个位置全部设置为 1。

检测 key 是否存在,仍然用这 k 个 Hash 函数计算出 k 个位置,如果位置全部为 1,则表明 key 存在,否则不存在。

如下图所示:
在这里插入图片描述

三、缓存击穿

1. 问题描述

缓存击穿一般常见于电商场景,在双十一和六一八这种大促活动中,缓存中会缓存一些热点数据,随时都有大量的请求访问这个数据。

当某个时刻这个数据突然过期,大量请求就会集中打到MySQL数据库中。
在这里插入图片描述

如何解决这个问题呢?

2. 问题解决

该问题导致的原因是因为该缓存数据过期了,但却有大量请求访问该数据;

有两条思路去解决:

  • 不让该数据过期
  • 不让大量请求访问数据库

2.1 设置逻辑过期

热点数据随时都会有变化,不设置过期时间的话会导致更多问题,不能因此失彼。

但可以换一个思路,在数据过期时无缝衔接一个新数据,在请求看来这就是没有过期时间的一个数据。

在这里插入图片描述

此时如果大量请求访问该数据,刚好该数据缓存逻辑过期,但没有设置物理过期时间,所以数据并不会被redis清除。

此时由业务代码去判断,该缓存是否过期,如果过期则获取互斥锁新建一个子线程去访问数据库重新设置缓存,主线程返回过期数据,没有获取互斥锁的都返回过期数据

完整代码如下:

 //逻辑过期
    public Shop queryWithLogicalExpire(Long id) {
        String key = CACHE_SHOP_KEY + id;
        //1.从redis查询商铺缓存
        String shopJson = stringRedisTemplate.opsForValue().get(key);
        //2.判断是否存在
        if (StrUtil.isBlank(shopJson)) {
            //3.未命中
            return null;
        }
        //4.命中,需要先把json反序列化为对象
        RedisData redisData = JSONUtil.toBean(shopJson, RedisData.class);
        Shop shop = (Shop) redisData.getData();
        LocalDateTime expireTime = redisData.getExpireTime();
        //5.判断是否过期
        if (expireTime.isAfter(LocalDateTime.now())) {
            //5.1还未过期
            return shop;
        }
        //5.2已经过期,需要缓存重建
        //6.缓存重建
        //6.1获取互斥锁
        String lockKey = LOCK_SHOP_KEY + id;
        boolean isLock = tryLock(lockKey);
        //6.2判断是否获取锁成功
        if (isLock) {
            // 6.3成功,开启独立线程,实现缓存重建
            CACHE_REBUILD_EXECUTOR.submit(() -> {
                try {
                    //重建缓存
                    this.saveShop2Redis(id, 20L);
                } catch (Exception e) {
                    e.printStackTrace();
                } finally {
                    //释放锁
                    unlock(lockKey);
                }
            });
        }
        //6.4返回过期的店铺信息
        //7.返回
        return shop;
    }

2.2 设置互斥锁

怎么才能不让大量数据去访问数据库呢?

或许大家已经想到了,上面设置逻辑过期用到过的一个功能:互斥锁

在这里插入图片描述

请求首先访问缓存,如果命中的话,直接返回该数据。

如果未命中的话,则去获取互斥锁,获取成功则查询数据库重新设置缓存,获取失败,则重试获取缓存数据

完整代码如下:

/**
     * 通过互斥锁机制查询商铺信息
     * @param key
     */
    private Shop queryShopWithMutex(String key, String cityCode) {
        Shop shop = null;
        // 1.查询缓存
        String shopJson = stringRedisTemplate.opsForValue().get(key);
        // 2.判断缓存是否有数据
        if (StringUtils.isNotBlank(shopJson)) {
            // 3.有,则返回
            shop = JSONObject.parseObject(shopJson, Shop.class);
            return shop;
        }
        // 4.无,则获取互斥锁
        String lockKey = RedisConstants.LOCK_SHOP_KEY + shopCode;
        Boolean isLock = tryLock(lockKey);
        // 5.判断获取锁是否成功
        try {
            if (!isLock) {
                // 6.获取失败, 休眠并重试
                Thread.sleep(100);
                return queryShopWithMutex(key, shopCode);
            }
            // 7.获取成功, 查询数据库
            shop = baseMapper.getByCode(shopCode);
            // 8.判断数据库是否有数据
            if (shop == null) {
                // 9.无,则将空数据写入redis
                stringRedisTemplate.opsForValue().set(key, "", RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);
                return null;
            }
            // 10.有,则将数据写入redis
            stringRedisTemplate.opsForValue().set(key, JSONObject.toJSONString(shop), RedisConstants.CACHE_SHOP_TTL, TimeUnit.MINUTES);
        } catch (Exception e) {
            throw new RuntimeException(e);
        } finally {
            // 11.释放锁
            unLock(lockKey);
        }
        // 12.返回数据
        return shop;
    }

关于两种方案,各有各的优缺点

  • 逻辑过期: 及时性高,但数据不是最新数据,适合最终一致性的业务
  • 互斥锁: 一致性高,但会有数据延迟,适合强一致性的业务

四、缓存雪崩

1. 问题描述

缓存雪崩可以简单的理解为大范围的缓存击穿。

有两个可能引起缓存雪崩问题:

  • 有大量的热门缓存同时失效。会导致大量的请求,访问数据库。而数据库很有可能因为扛不住压力,而直接挂掉。
  • 缓存服务器down机了,可能是机器硬件问题,或者机房网络问题。造成了整个缓存的不可用。
    ![在这里插入图片描述](https://img-blog.csdnimg.cn/332236c568114666ae63f7ad3e20ea9e.png

2. 问题解决

2.1 设置随机过期时间

为了解决缓存雪崩问题,我们首先要尽量避免缓存同时失效的情况发生。

这就要求我们不要设置相同的过期时间。

可以在设置的过期时间基础上,再加个1~60秒的随机数。

实际过期时间 = 过期时间 + 1~60秒的随机数

这样即使在高并发的情况下,多个请求同时设置过期时间,由于有随机数的存在,也不会出现太多相同的过期key。

2.2 缓存高可用

针对缓存服务器down机的情况,在前期做系统设计时,可以做一些高可用架构

可以使用哨兵机制或者集群模式,当一个Redis宕机,随时会有一个Redis补充上来,避免一个Redis宕机而导致大量请求去访问数据库,而使数据库压力过载。

比如使用哨兵模式之后,当某个master服务下线时,自动将该master下的某个slave服务升级为master服务,替代已下线的master服务继续处理请求。

总结

缓存穿透、缓存击穿和缓存雪崩是三种与缓存相关的常见问题,它们的概念和影响有所不同。

关于Redis缓存三兄弟的问题及解决主要就是以下几个方面:

缓存穿透:

  • 缓存穿透指的是对于一个不存在于缓存和数据库中的数据的请求,每次请求都会穿过缓存层直接访问数据库。

  • 恶意的攻击者可以通过构造不存在的数据请求,导致大量请求直接访问数据库,增加数据库负载压力。

  • 解决缓存穿透可以采用存储空数据和合适的校验技术,例如使用布隆过滤器等技术,在缓存层进行初步过滤,避免无效请求直接访问数据库。

缓存击穿:

  • 缓存击穿指的是在高并发情况下,一个热点数据过期或失效时,大量请求同时涌入数据库,造成数据库压力激增。

  • 由于热点数据没有命中缓存,而直接访问数据库,使得缓存无法发挥作用,增加了数据库的负载。

  • 解决缓存击穿可以采取设置热点数据永不过期,或者使用互斥锁等机制来控制只有一个线程去加载数据。

缓存雪崩:

  • 缓存雪崩指的是在某个时间点,缓存中的大量数据同时失效或过期或者缓存服务宕机,导致大量请求直接访问后端数据库,造成数据库压力过大。
  • 当缓存中的数据集中过期或失效时,没有缓存可用,导致大量请求直接访问数据库,可能引起数据库负载激增甚至崩溃。
  • 解决缓存雪崩可以采用合理的缓存失效时间设置、使用高可用架构等方式来减少缓存失效的风险。

当然能解决的方式有很多,这里只是列举出来常见的解决方法。如果有更好的建议可以发在评论区。


结语

每个人都有自己独特的才华和潜能,在这个广袤的世界上,你的存在是有意义的。无论你是谁,你的背景如何,你所处的环境怎样,只要你敢于跨出舒适区,付出努力,追求卓越,你就能够开创属于自己的辉煌。

我们下期见。

每一次努力都是一次进步,即使进展缓慢,也要坚持不懈。

往期文章推荐

  • 消息中间件相关面试题
  • Java集合相关面试题
  • Java集合详解
  • 微服务相关面试题
  • redis相关面试题
  • 图解 Paxos 算法
  • Spring相关面试题
  • Mysql相关面试题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/88426.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

C语言实例_双向链表增删改查

一、双向链表介绍 双向链表(Doubly Linked List)是一种常见的数据结构,在单链表的基础上增加了向前遍历的功能。与单向链表不同,双向链表的每个节点除了包含指向下一个节点的指针外,还包含指向前一个节点的指针。 作用…

Spark on Yarn集群模式搭建及测试

🥇🥇【大数据学习记录篇】-持续更新中~🥇🥇 点击传送:大数据学习专栏 持续更新中,感谢各位前辈朋友们支持学习~ 文章目录 1.Spark on Yarn集群模式介绍2.搭建环境准备3.搭建步骤 1.Spark on Yarn集群模式介…

重排链表(C语言)

题目: 示例: 思路: 这题我们将使用栈解决这个问题,利用栈先进后出的特点,从链表的中间位置进行入栈,寻找链表的中间位置参考:删除链表的中间节点,之后从头开始进行连接。 本题使用…

LLaMA中ROPE位置编码实现源码解析

1、Attention中q,经下式,生成新的q。m为句长length,d为embedding_dim/head θ i 1 1000 0 2 i d \theta_i\frac{1}{10000^\frac{2i}{d}} θi​10000d2i​1​ 2、LLaMA中RoPE源码 import torchdef precompute_freqs_cis(dim: int, end: i…

【Java架构-包管理工具】-Maven基础(一)

本文摘要 Maven作为Java后端使用频率非常高的一款依赖管理工具,在此咱们由浅入深,分三篇文章(Maven基础、Maven进阶、私服搭建)来深入学习Maven,此篇为开篇主要介绍Maven概念、模型、安装配置、基本命令 文章目录 本文…

Python数据挖掘与机器学习

近年来,Python编程语言受到越来越多科研人员的喜爱,在多个编程语言排行榜中持续夺冠。同时,伴随着深度学习的快速发展,人工智能技术在各个领域中的应用越来越广泛。机器学习是人工智能的基础,因此,掌握常用…

使用Nodejs创建简单的HTTP服务器,借助内网穿透工具实现公网访问的方法分享

文章目录 前言1.安装Node.js环境2.创建node.js服务3. 访问node.js 服务4.内网穿透4.1 安装配置cpolar内网穿透4.2 创建隧道映射本地端口 5.固定公网地址 前言 Node.js 是能够在服务器端运行 JavaScript 的开放源代码、跨平台运行环境。Node.js 由 OpenJS Foundation&#xff0…

GWO-LSTM交通流量预测(python代码)

使用 GWO 优化 LSTM 模型的参数,从而实现交通流量的预测方法 代码运行版本要求 1.项目文件夹 data是数据文件夹,data.py是数据归一化等数据预处理脚本 images文件夹装的是不同模型结构打印图 model文件夹 GWO-LSTM测试集效果 效果视频:GWO…

兼具传统和新锐基因的极氪,是怎么做用户运营的?|新能源车专题研究

主笔:浣芳黛 出品:增长黑盒研究组 近几个月来,新能源车势头强劲,众多车企纷纷传出连月增长和再创新高的捷报,在当下整体经济复苏缓慢的映衬下,显得格外耀眼。 于是,增长黑盒近期针对新能源车企展…

RISC-V(1)——RISC-V是什么,有什么用

目录 1. RISC-V是什么 2. RISC-V指令集 3. RISC-V特权架构 4. RiscV的寄存器描述 5. 指令 5.1 算数运算—add/sub/addi/mul/div/rem 5.2 逻辑运算—and/andi/or/ori/xor/xori 5.3 位移运算—sll/slli/srl/srli/sra/srai 5.4 数据传输—lb/lh/lw/lbu/lhu/lwu/sb/sh/sw …

Zebec Protocol:模块化 L3 链 Nautilus Chain,深度拓展流支付体系

过去三十年间,全球金融科技领域已经成熟并迅速增长,主要归功于不同的数字支付媒介的出现。然而,由于交易延迟、高额转账费用等问题愈发突出,更高效、更安全、更易访问的支付系统成为新的刚需。 此前,咨询巨头麦肯锡的一…

iOS 17 及 Xcode 15.0 Beta7 问题记录

1、iOS 17 真机调试问题 iOS 17之后,真机调试Beta版本必须使用Beta版本的Xcode来调试,用以前复制DeviceSupport 方式无法调试,新的Beta版本Xcode中,已经不包含 iOS 17目录。如下图: 解决方案: 1&#x…

机器学习深度学习——NLP实战(自然语言推断——微调BERT实现)

👨‍🎓作者简介:一位即将上大四,正专攻机器学习的保研er 🌌上期文章:机器学习&&深度学习——针对序列级和词元级应用微调BERT 📚订阅专栏:机器学习&&深度学习 希望文…

【SpringSecurity】三、访问授权

文章目录 1、配置用户权限2、针对URL授权3、针对方法的授权 1、配置用户权限 继续上一章,给在内存中创建两个用户配置权限。配置权限有两种方式: 配置roles配置authorities //哪个写在后面哪个起作用 //角色变成权限后会加一个ROLE_前缀,比…

物种气候生态位动态量化与分布特征模拟

在全球气候快速变化的背景下,理解并预测生物种群如何应对气候变化,特别是它们的地理分布如何变化,已经变得至关重要。利用R语言进行物种气候生态位动态量化与分布特征模拟,不仅可以量化描述物种对环境的需求和适应性,预…

Webstorm 入门级玩转uni-app 项目-微信小程序+移动端项目方案

1. Webstorm uni-app语法插件 : Uniapp Support Uniapp Support - IntelliJ IDEs Plugin | Marketplace 第一个是不收费,第二个收费 我选择了第二个Uniapp Support ,有试用30天,安装重启webstorm之后,可以提高生产率…

6.物联网操作系统信号量,二值信号量,计数信号量

一。信号量的概念与应用 信号量定义 FreeRTOS信号量介绍 FreeRTOS信号量工作原理 1.信号量的定义 多任务环境下使用,用来协调多个任务正确合理使用临界资源。 2.FreeRTOS信号量介绍 Semaphore包括Binary,Count,Mutex; Mutex包…

Python爬虫猿人学逆向系列——第六题

题目:采集全部5页的彩票数据,计算全部中奖的总金额(包含一、二、三等奖) 地址:https://match.yuanrenxue.cn/match/6 本题比较简单,只是容易踩坑。话不多说请看分析。 两个参数,一个m一个f&…

PID直观感受简述

0、仿真控制框图 1、增加p的作用(增加响应)P 2、增加I的作用(消除稳差)PI 3、增加D的作用(抑制波动)PID 加入对噪声很敏 4、综合比对

【Linux】一张图了解系统文件

首先先认识磁盘结构 系统文件分布图 文件查找 文件删除 文件的增删改查都是围绕inode来完成的,所以当我们要进行文件删除的时候,只需要通过inode来获取到它对应的block bitmap和inode bitmap数据块容器和保存文件属性的位置置为 0即可 ,如果想…