【黑马点评Redis——002商户查询缓存】

1. 商户查询缓存

在这里插入图片描述
在这里插入图片描述

2. 知识储备和课程内容

2.1 什么是缓存

缓存是数据交换的缓冲区，是存贮数据的临时地方，一般读写性能较高。

  • 浏览器缓存
  • 应用层缓存
  • 数据库缓存
  • CPU缓存
  • 磁盘缓存

缓存的作用：

  • 降低后端负载
  • 提高读写效率，降低响应时间

缓存的成本：

  • 数据的一致性成本
  • 代码维护成本
  • 运维成本

2.2 缓存更新策略

在这里插入图片描述
业务查询：

  • 低一致性需求：使用内存淘汰策略。例如店铺类型的查询缓存
  • 高一致性需求：主动更新，并以超时剔除作为兜底方案。例如店铺详情查询的缓存。

2.2.1 主动更新策略

Cache Aside Pattern（旁路缓存模式）（企业中用的比较多）
  • Cache Aside Pattern
    • 指缓存调用者在更新数据库的同时完成对缓存的更新。（一致性良好，实现难度一般）
  • Read/Write Through Pattern
    • 缓存和数据库集成为一个服务，由服务来保证两者的一致性，对外暴露API接口。调用者调用API，无序知道自己操作的是数据库还是缓存，不关心一致性。（一致性优秀，实现复杂，性能一般）
  • Write Behind Caching Pattern
    • 缓存调用者的CRUD都针对缓存完成，由独立线程异步的将缓存数据写到数据库，实现最终一致（一致性差，性能好，实现复杂）

Cache Aside Pattern基本思想：

  1. 当需要获取数据时，首先在缓存中查找数据。
  2. 如果在缓存中找到了数据，则直接返回给客户端。
  3. 如果在缓存中没有找到数据，则从后端存储系统（如数据库）中读取数据，并将数据存储到缓存中。
  4. 在写入数据时，首先更新后端存储系统中的数据，然后让缓存中的数据失效或更新，以便下次读取时从后端存储系统中获取最新数据。

特点：

  • 简单直观：模式简单易懂，易于实现。
  • 读性能提升：大部分读操作可以直接从缓存中获取数据，减少了对后端存储系统的访问。
  • 数据一致性：通过手动管理缓存和后端存储系统中的数据一致性，确保数据的准确性。

需要思考的问题！

  • 删除缓存还是更新缓存？
    • 更新缓存：每次更新数据库都更新缓存，无效写操作较多（❎）
    • 删除操作：更新数据库时让缓存失效，查询时再更新缓存（✅）
  • 如何保证缓存与数据库的操作同时成功或失败？
    • 单体系统，将缓存与数据库操作放在一个事务
    • 分布式系统，利用TCC等分布式事务方案
  • 先操作缓存还是先操作数据库？
    • 先删除缓存，在操作数据库
    • 先操作数据库，在删除缓存
先操作缓存还是先操作数据库（重要）？

在这里插入图片描述
相比较而言方案二安全性更高一些：
原因：方案二需要满足，线程1查询时缓存恰好失效，且更新数据库的操作间隔要比写入缓存的时间短。（但还是有可能），需要赋予超时剔除作为兜底方案。

2.3 缓存穿透

缓存穿透是指客户端请求的数据在缓存中和数据库中都不存在，这些请求都会打到数据库,给数据库带来巨大的压力。
在这里插入图片描述
在这里插入图片描述

解决方案

  • 缓存空对象
  • 布隆过滤
  • 增强id的复杂度，避免被猜测id规律
  • 做好数据的基础格式校验
  • 加强用户权限校验
  • 做好热点参数的限流

2.4 缓存雪崩

缓存雪崩是指在同一时段大量的缓存key同时失效或者Redis服务宕机，导致大量请求到达数据库，带来巨大压力。
解决方案：

  • 给不同的Key的TTL添加随机值
  • 利用Redis集群提高服务的可用性
  • 给缓存业务添加降级限流策略
  • 给业务添加多级缓存
    在这里插入图片描述

2.5 缓存击穿

缓存击穿问题也叫热点Key问题，就是一个被高并发访问并且缓存重建业务比较复杂的key突然失效了，无数的请求访问会在瞬间给数据库带来巨大的冲击。
在这里插入图片描述

2.5.1 解决方案1：互斥锁

在这里插入图片描述
存在的问题：需要等待阻塞

在这里插入图片描述
利用setnx来模拟简单的分布式锁。

# 获得锁（一般上会设置有效期）
setnx lock 1
# 删除锁
del lock

2.5.2 解决方案2：逻辑过期

在这里插入图片描述
在这里插入图片描述
基于逻辑过期的方式会存在一段时间内的不一致性，一旦线程完成了缓存重建，就能够得到一致性的结果。

2.5.3 解决方案对比

在这里插入图片描述

2.6 缓存工具封装

基于StringRedisTemplate封装一个缓存工具类，满足下列需求:

  • 方法1: 将任意Java对象序列化为json并存储在string类型的key中，并且可以设置TTL过期时间
  • 方法2: 将任意java对象序列化为json并存储在string类型的key中，并且可以设置逻辑过期时间，用于处理缓存击穿问题
  • 方法3: 根据指定的key查询缓存，并反序列化为指定类型，利用缓存空值的方式解决缓存穿透问题
  • 方法4: 根据指定的key查询缓存，并反序列化为指定类型，需要利用逻辑过期解决缓存击穿问题
@Slf4j
@Component
public class CacheClient {

    private final StringRedisTemplate stringRedisTemplate;

    private static final ExecutorService CACHE_REBUILD_EXECUTOR = Executors.newFixedThreadPool(10);

    public CacheClient(StringRedisTemplate stringRedisTemplate) {
        this.stringRedisTemplate = stringRedisTemplate;
    }

    public void set(String key, Object value, Long time, TimeUnit unit){
        stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(value),time,unit);
    }

    public void setWithLogicalExpire(String key, Object value, Long time, TimeUnit unit){
        // 设置逻辑过期
        RedisData redisData = new RedisData();
        redisData.setData(value);
        redisData.setExpireTime(LocalDateTime.now().plusSeconds(unit.toSeconds(time)));
        // 写入Redis
        stringRedisTemplate.opsForValue().set(key, JSONUtil.toJsonStr(redisData));
    }

    public <R,ID> R queryWithPassThrough(String keyPrefix, ID id, Class<R> type, Function<ID,R> dbFallback, Long time, TimeUnit unit){
        String key = keyPrefix + id;
        // 1. 从Redis中查询缓存
        String json = stringRedisTemplate.opsForValue().get(key);
        // 2. 判断是否存在
        if (StrUtil.isNotBlank(json)){
            // 3. 存在，直接返回
            return JSONUtil.toBean(json,type);
        }
        // 判断命中的是否是空值
        if (json!=null){
            return null;
        }
        // 4. 不存在，根据id查询数据库
        R r = dbFallback.apply(id);
        // 5. 数据库不存在，返回错误
        if (r==null){
            stringRedisTemplate.opsForValue().set(key,"",RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);
            return null;
        }
        // 6. 存在，写入Redis
        this.set(key,r,time,unit);
        // 7. 返回
        return r;
    }

    public <R,ID> R queryWithLogicalExpire(String keyPrefix, ID id, Class<R> type, Function<ID,R> dbFallback, Long time, TimeUnit unit){
        String key = keyPrefix + id;
        // 1. 从Redis中查询缓存
        String json = stringRedisTemplate.opsForValue().get(key);
        // 2. 判断是否存在
        if (StrUtil.isBlank(json)){
            // 3. 不存在直接返回
            return null;
        }
        // 4.命中，需要先把json反序列化对象
        RedisData redisData = JSONUtil.toBean(json, RedisData.class);
        R r = JSONUtil.toBean((JSONObject) redisData.getData(), type);
        LocalDateTime expireTime = redisData.getExpireTime();
        // 5. 判断是否过期
        if(expireTime.isAfter(LocalDateTime.now())){
            // 5.1 未过期，直接返回店铺信息
            return r;
        }
        // 5.2 已过期，需要缓存重建
        // 6 缓存重建
        // 6.1 获取互斥锁
        String lockKey = RedisConstants.LOCK_SHOP_KEY + id;
        boolean isLock = tryLock(lockKey);
        // 6.2 判断是否获取锁成功
        if(isLock){
            // 6.3 成功，开启独立线程，实现缓存重建
            CACHE_REBUILD_EXECUTOR.submit(()->{
                // TODO 重建缓存,需要修改过期时间为1800秒
                try {
                    // 查询数据库
                    R r1 = dbFallback.apply(id);
                    // 写入redis
                    this.setWithLogicalExpire(key,r1,time,unit);
                }catch (Exception e){
                    throw new RuntimeException(e);
                }finally {
                    unlock(lockKey);
                }});
        }
        // 6.4 先返回过期的商铺信息
        return r;
    }

    private boolean tryLock(String key){
        Boolean flag = stringRedisTemplate.opsForValue().setIfAbsent(key, "1", 10, TimeUnit.SECONDS);
        return BooleanUtil.isTrue(flag);
    }

    private void  unlock(String key){
        stringRedisTemplate.delete(key);
    }
}

3. 问题汇总

3.1 基于互斥锁的递归是否存在问题？

递归调用 queryWithMutex(id) 可能会导致栈溢出，因为没有任何条件来终止递归。在这种情况下，如果无法获取锁，线程会无限制地尝试递归调用自身，并且每次递归都会消耗一些栈空间，最终导致栈溢出异常。

    public Shop queryWithMutex(Long id){
        String key = RedisConstants.CACHE_SHOP_KEY + id;
        // 1. 从Redis中查询缓存
        String shopJson = stringRedisTemplate.opsForValue().get(key);
        // 2. 判断是否存在
        if (StrUtil.isNotBlank(shopJson)){
            // 3. 存在，直接返回
            return JSONUtil.toBean(shopJson,Shop.class);
        }
        // 判断命中的是否是空值
        if (shopJson!=null){
            return null;
        }
        // 4. 实现缓存重建
        // 4.1 获取互斥锁
        String lockKey = RedisConstants.LOCK_SHOP_KEY + id;
        Shop shop = null;
        try {
            boolean isLock = tryLock(lockKey);
            // 4.2 判断是否获取成功
            if (!isLock){
                // 4.3 失败，则休眠并重试
                Thread.sleep(50);
                // TODO 感觉这里代码有问题。建议重新修改
                return queryWithMutex(id);
            }
            // 4.4 成功，根据id查询数据库
            shop = getById(id);
            // TODO 模拟重建的延时(正常运行时需要删除)
            Thread.sleep(200);
            // 5. 数据库不存在，返回错误
            if (shop==null){
                stringRedisTemplate.opsForValue().set(key,"",RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);
                return null;
            }
            // 6. 存在，写入Redis
            stringRedisTemplate.opsForValue().set(key,JSONUtil.toJsonStr(shop),RedisConstants.CACHE_SHOP_TTL, TimeUnit.MINUTES);
        }catch (Exception e){
            throw new RuntimeException(e);
        }finally {
            // 7.释放获取锁
            unlock(lockKey);
        }
        // 8. 返回
        return shop;
    }

修改后的代码如下：采用了循环替代了递归，并设置了最大循环次数。达到最大循环后没有成功即返回null.在并发为200/s的时候平均每个请求需要在循环中执行的次数为7次。
在这里插入图片描述

    public Shop queryWithMutex2(Long id){
        String key = RedisConstants.CACHE_SHOP_KEY + id;

        // 从Redis中查询缓存
        String shopJson = stringRedisTemplate.opsForValue().get(key);
        if (StrUtil.isNotBlank(shopJson)){
            return JSONUtil.toBean(shopJson,Shop.class);
        }
        // 判断命中的是否是空值,即是否等于空字符串
        if (shopJson!=null){
            return null;
        }

        // 尝试准备从数据库中获取数据
        int MAX_RETRY_COUNT = 10;
        boolean isLock = false;
        int retryCount = 0;
        String lockKey = RedisConstants.LOCK_SHOP_KEY + id;
        Shop shop = null;
        try{
            // 4.2 循环重试直至获取锁成功或达到最大重试次数
            while (!isLock && retryCount < MAX_RETRY_COUNT) {
                isLock = tryLock(lockKey);
                if (!isLock) {
                    // 4.3 失败，则休眠并重试
                    Thread.sleep(50);
                    retryCount++;
                }
                //休眠结束后尝试从缓存中查询数据
                shopJson = stringRedisTemplate.opsForValue().get(key);
                if (StrUtil.isNotBlank(shopJson)){
                    System.out.println("Thread尝试的次数为："+retryCount);
                    return JSONUtil.toBean(shopJson,Shop.class);
                }
                // 否者继续循环获得锁
            }
            // 判断是否获取锁成功，或者超过最大重试次数
            if (!isLock || retryCount == MAX_RETRY_COUNT){
                return null;
            }
            // 获取锁成功，根据id查询数据库
            shop = getById(id);
            // TODO 模拟重建的延时(正常运行时需要删除)
            Thread.sleep(200);
            // 5. 数据库不存在，返回错误
            if (shop==null){
                stringRedisTemplate.opsForValue().set(key,"",RedisConstants.CACHE_NULL_TTL, TimeUnit.MINUTES);
                return null;
            }
            // 6. 存在，写入Redis
            stringRedisTemplate.opsForValue().set(key,JSONUtil.toJsonStr(shop),RedisConstants.CACHE_SHOP_TTL, TimeUnit.MINUTES);
        }catch (Exception e){
            throw new RuntimeException(e);
        }finally {
            // 7.释放获取锁
            unlock(lockKey);
        }
        // 8. 返回
        return shop;
    }

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/564105.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

鸿蒙开发实例：【配置OpenHarmony SDK】

鸿蒙开发实例：【配置OpenHarmony SDK】

配置OpenHarmony SDK 在设置OpenHarmony应用开发环境时&#xff0c;需要开发者在DevEco Studio中配置对应的SDK信息。 说明&#xff1a; 请注意&#xff0c;OpenHarmony SDK版本精简了部分工具链&#xff0c;因此不适用于HarmonyOS应用开发。 前提条件 已下载并安装好DevEco …
阅读更多...
上位机图像处理和嵌入式模块部署（树莓派4b使用pcl点云库）

上位机图像处理和嵌入式模块部署（树莓派4b使用pcl点云库）

【 声明&#xff1a;版权所有&#xff0c;欢迎转载&#xff0c;请勿用于商业用途。 联系信箱&#xff1a;feixiaoxing 163.com】 图像处理&#xff0c;大家都知道它有显著的优点和缺点。优点就是分辨率高&#xff0c;信息丰富。缺点就是&#xff0c;整个图像本身没有深度信息。…
阅读更多...
使用matlab/C语言/verilog分别生成coe文件

使用matlab/C语言/verilog分别生成coe文件

之前已经写过一个如何使用matlab生成coe文件&#xff0c;matlab自行运算生成三角波、正弦波等数据&#xff0c;并保存为COE文件。可跳转下面的网址进行查阅。 使用matlab生成正弦波、三角波、方波的COE文件_三角波文件.coe-CSDN博客https://blog.csdn.net/yindq1220/article/d…
阅读更多...
深度学习——常用激活函数解析与对比

深度学习——常用激活函数解析与对比

1、 简介 在神经网络中&#xff0c;激活函数扮演着至关重要的角色。它们的主要目的是引入非线性因素&#xff0c;使得网络能够学习和表示更加复杂的函数映射。以下是激活函数应具备的特点&#xff0c;以及这些特点为何重要的详细解释&#xff1a; 引入非线性有助于优化网络&am…
阅读更多...
STM32标准库外部中断和定时器知识点总结

STM32标准库外部中断和定时器知识点总结

目录 前言 一、EXIT外部中断 &#xff08;1&#xff09;对射式红外传感器计次 &#xff08;2&#xff09;旋转编码器计次 二、TIM定时器 1.定时器定时中断 2.定时器外部时钟 3.TIM输出比较 &#xff08;1&#xff09;PWM驱动呼吸灯 &#xff08;2&#xff09;PWM驱动舵…
阅读更多...
如何搭建一个vue2组件库(king-ui-pro)

如何搭建一个vue2组件库(king-ui-pro)

文章引用图片无法查看&#xff0c;直接查看原文 感兴趣的可以关注或订阅下这个系列&#xff0c;后续会陆续将相关的组件与公共方法进行分享 目前已经完成了的组件有 多行省略pro版&#xff0c;不是简单的多行省略效果 公共方法&#xff1a; 1、图片预览&#xff0c;知乎的图…
阅读更多...
STL-vector的使用及其模拟实现

STL-vector的使用及其模拟实现

在C中&#xff0c;vector是标准模板库&#xff08;STL&#xff09;中的一种动态数组容器&#xff0c;它可以存储任意类型的元素&#xff0c;并且能够自动调整大小。vector提供了许多方便的成员函数&#xff0c;使得对数组的操作更加简单和高效。 vector的使用 vector的构造函数…
阅读更多...
elementUi 日期选择器 组件禁止手输

elementUi 日期选择器 组件禁止手输

添加:editable"false" <el-date-pickerv-model"formInline.EndTime"type"datetime"placeholder"选择结束时间"format"YYYY-MM-DD HH:mm:ss"value-format"YYYY-MM-DD HH:mm:ss":editable"false">&…
阅读更多...
AI大模型量化格式介绍（GPTQ，GGML，GGUF，FP16/INT8/INT4）

AI大模型量化格式介绍（GPTQ，GGML，GGUF，FP16/INT8/INT4）

在 HuggingFace 上下载模型时&#xff0c;经常会看到模型的名称会带有fp16、GPTQ&#xff0c;GGML等字样&#xff0c;对不熟悉模型量化的同学来说&#xff0c;这些字样可能会让人摸不着头脑&#xff0c;我开始也是一头雾水&#xff0c;后来通过查阅资料&#xff0c;总算有了一些…
阅读更多...
通用变频器ACS800-04M-0320-3可议价

通用变频器ACS800-04M-0320-3可议价

商业别名&#xff1a;ACS800-04M-0320-3 产品编号&#xff1a;68279429 ABB 型号名称&#xff1a;ACS800-04M-0320-3 目录说明&#xff1a;ACS800-04M-0320-3&#xff1b; ACS800-04M-0320-3 Pcont.max:250kW, Icont.max:521A 原产地&#xff1a;芬兰 (FI) 海关税则号&#xf…
阅读更多...
# 从浅入深 学习 SpringCloud 微服务架构（二）模拟微服务环境（2）通过 RestTemplate 调用远程服务

# 从浅入深 学习 SpringCloud 微服务架构（二）模拟微服务环境（2）通过 RestTemplate 调用远程服务

从浅入深 学习 SpringCloud 微服务架构&#xff08;二&#xff09;模拟微服务环境&#xff08;2&#xff09;通过 RestTemplate 调用远程服务 段子手168 1、打开 idea 创建父工程 创建 artifactId 名为 spring_cloud_demo 的 maven 工程。 --> idea --> File -->…
阅读更多...
client-go源码结构及客户端对象

client-go源码结构及客户端对象

一、基础知识介绍 1、GVR 和 GVK G Goup资源组&#xff0c;包含一组资源操作的集合VVersion资源版本&#xff0c;用于区分不同API的稳定程度及兼容性RResource资源信息&#xff0c;用于区分不同的资源APIKKind资源对象类型&#xff0c;每个资源对象都需要Kind来区分它自身代表…
阅读更多...
老化测试电源作用及选购标准

老化测试电源作用及选购标准

老化测试电源作用及选购标准 为了保证电子产品的稳定性和可靠性&#xff0c;我们需要对产品进行老化测试。老化测试电源是一种专门用于测试电子元器件、电源模块等产品在长时间、持续负载工作状态下稳定性和可靠性的电源设备&#xff0c;也被称为“测试电源”、“老化电源”等。…
阅读更多...
【Linux】进程的程序地址空间①

【Linux】进程的程序地址空间①

目录 前言&#xff1a; 1.什么是地址空间 区域划分 页表&#xff1a; 2.为什么要有地址空间 2.1 进程与内存解耦合 2.2安全 3.凭什么说进程具有独立性&#xff1a; 4.用地址空间解释一下申请内存 前言&#xff1a; 在C语言中&#xff0c;我们说我们将内存分为&#xff0c;栈区…
阅读更多...
【目标跟踪】ByteTrack详解与代码细节

【目标跟踪】ByteTrack详解与代码细节

文章目录 一、前言二、代码详解2.1、新起航迹2.2、预测2.3、匹配2.4、结果发布2.5、总结 三、流程图四、部署 一、前言 论文地址&#xff1a;https://arxiv.org/pdf/2110.06864.pdf git地址&#xff1a;https://github.com/ifzhang/ByteTrack ByteTrack 在是在 2021 年 10 月…
阅读更多...
同元软控专业模型库系列——热流篇

同元软控专业模型库系列——热流篇

一、引言 传热与流动是自然界与科学技术领域最普遍的物理现象。聚焦工业领域&#xff0c;传热、流体流动和燃烧问题是热工、核能、动力机械等行业所需研究解决的主要问题。复杂热流系统往往具有高复杂性、高成本性和高可靠性的特点&#xff0c;传统研制模式已逐渐无法满足现有…
阅读更多...
【UE5.1 C++】提升编译速度

【UE5.1 C++】提升编译速度

步骤 1. 在“C:\Users\用户\AppData\Roaming\Unreal Engine\UnrealBuildTool”目录下找到“BuildConfiguration.xml”文件 打开“BuildConfiguration.xml”&#xff0c;添加如下部分内容 <?xml version"1.0" encoding"utf-8" ?> <Configuratio…
阅读更多...
干货：40个数据统计和分析的术语，让你的可视化大屏有理有据

干货：40个数据统计和分析的术语，让你的可视化大屏有理有据

1. 总体&#xff08;Population&#xff09;&#xff1a;指研究对象的全体&#xff0c;即研究问题所涉及的所有个体或事物的集合。 2. 样本&#xff08;Sample&#xff09;&#xff1a;从总体中选取的一部分个体或事物&#xff0c;用于代表总体进行研究。 3. 参数&#xff08…
阅读更多...
MySQl-8.3.0版本安装下载教程（超详细保姆级教程）

MySQl-8.3.0版本安装下载教程（超详细保姆级教程）

第一步&#xff0c;去百度找到MySQl官网 第二步,找到DOWNLOAD&#xff08;下载&#xff09; 第三步 第四步 第五步 第六步.选择倒数第2个 第七步 第八步然后根据步骤安装就好了
阅读更多...
我最重要的三个女人都生病了，两个已经住院了

我最重要的三个女人都生病了，两个已经住院了

往年的金三银四&#xff0c;大部分时间我都在面试&#xff0c;今年的金三银四&#xff0c;却一直往医院跑了。 我最重要的三个女人全生病了&#xff0c;病毒感染&#xff0c;20号我妈办理了住院&#xff0c;21 号我闺女小白牙办理了住院&#xff0c;她俩还不是同一家医院媳妇儿…
阅读更多...
最新文章

Copyright @ 2022~2023