常见的Redis使用问题及解决方案

目录

1. 缓存穿透

1.1 解决方案

2. 缓存击穿

2.1 解决方案

3. 缓存雪崩

3.1 概念图及问题描述

​编辑3.2 解决方案

4. 分布式锁

4.1 概念

4.2 基于redis来实现分布式锁

4.3 用idea来操作一遍redis分布式锁

4.4 分布式上锁的情况下,锁释放了服务器b中的锁问题

4.5 LUA保证删除原子性

4.6 分布式锁小总结


1. 缓存穿透

        当我们用户访问浏览器从应用服务器中请求web服务的时候,这时候请求的数据,在redis缓存中访问不到,那么就会去访问数据库,如果redis一直访问不到数据,它就会一直访问数据库,导致数据库压力变大,从而导致数据库崩溃。(缓存穿透)

  • 一般出现缓存穿透的原因:
    1. redis查询不到数据库;
    2. 出现很多非正常url访问(就是一直访问不存在的url路径);

其目的并不是为了得到数据,而是可能黑客利用此漏洞进行攻击,从而压垮数据库,让服务器瘫痪;

比如说一个不存在的用户id获取用户信息,不论缓存还是数据库都没有,被一直访问攻击,就会存在此问题;

1.1 解决方案

        一个一定不存在缓存几查询不到的数据,由于缓存是不命中时被动写的,并且出于容错考虑,如果从存储层查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到存储层去查询,失去了缓存的意义;

  • 解决:

    (1) 对空值缓存:如果一个查询返回的数据为空(不管是数据是否不存在),我们仍然把这个空结果(nul)进行缓存,设置空结果的过期时间会很短,最长不超过五分钟;

    (2) 设置可访问的名单(白名单):使用 bitmaps 类型定义一个可以访问的名单,名单id 作为 bitmaps 的偏移量每次访问和 bitmap 里面的 id 进行比较,如果访问 id 不在 bitmaps 里面,进行拦截,不允许访问;

    (3) 采用布隆过滤器:(布隆过滤器(Bloom Filter)是 1970 年由布隆提出的。它实际上是一个很长的二进制向量(位图)和一系列随机映射函数(哈希函数)。布隆过滤器可以用于检索一个元素是否在一个集合中。"它的优点是空间效率和查询时间都远远超过一般的算法,缺点是有一定的误识别率和删除困难;将所有可能存在的数据哈希到一个足够大的 bitmaps 中,一个一定不存在的数据会被 这个 bitmaps 拦截掉,从而避免了对底层存储系统的查询压力;

    (4) 进行实时监控:当发现 Redis 的命中率开始急速降低,需要排查访问对象和访问的数据,和运维人员配合,可以设置黑名单限制服务;

2. 缓存击穿

  • 缓存击穿问题起因:
    1. 数据库访问压力瞬时增加
    2. redis里面没有出现大量key过期
    3. redis正常运行

问题描述:

        key对应的数据存在,但在redis中过期,此时若有大量并发请求过滤,这些请求发现缓存过期一般都会从后端DB加载数据并回设到缓存,这个时候大并发的请求可能回瞬间把后端DB压垮;

2.1 解决方案

(1) 预先设置热门数据:在 redis 高峰访问之前,把一些热门数据提前存入到redis 里面,加大这些热门数据 key 的时长;

(2) 实时调整:现场监控哪些数据热门,实时调整 key 的过期时长;

(3) 使用锁:

  1. 就是在缓存失效的时候(判断拿出来的值为空),不是立即去 load db;
  2. 先使用缓存工具的某些带成功操作返回值的操作(比如 Redis 的 SETNX)去set一个mutex key;
  3. 当操作返回成功时,再进行load db的操作,并回设缓存,最后删除mutex key;

(4) 当操作返回失败,证明有线程在load db,当前线程睡眠一段时间再重试整个get缓存的方法;

3. 缓存雪崩

3.1 概念图及问题描述

        key 对应的数据存在,但在 redis 中过期,此时若有大量并发请求过来,这些请求发现缓存过期一般都会从后端 DB加载数据并回设到缓存,这个时候大并发的请求可能会瞬间把后端 DB 压垮;

缓存雪崩与缓存击穿的区别在于这里针对很多 key 缓存,前者则是某一个 key;

缓存失效时的雪崩效应对底层系统的冲击非常严重;

3.2 解决方案

采用构建多级缓存架构:

通过其它缓存来建立多道城墙,当nginx缓存不行了,换到redis缓存,以此类推。

(1) 构建多级缓存架构:nginx缓存+redis 缓存 +其他缓存(ehcache等);

(2) 使用锁或队列:用加锁或者队列的方式保证来保证不会有大量的线程对数据库一次性进行读写,从而避免失效时大量的并发请求落到底层存储系统上。但是不适用高并发情况;

(3) 设置过期标志更新缓存:记录缓存数据是否过期(设置提前量),如果过期会触发通知另外的线程在后台去更新实际 key 的缓存;

(4) 将缓存失效时间分散开:比如我们可以在原有的失效时间基础上增加一个随机值,比如 1-5 分钟随机,这样每一个缓存的过期时间的重复率就会降低,就很难引发集体失效的事件;

4. 分布式锁

4.1 概念

        随着业务发展的需要,原单体单机部署的系统被演化成分布式集群系统后,由于分布式系统多线程、多进程并且分布在不同机器上,这将使原单机部署情况下的并发控制锁策略失效,单纯的 Java API并不能提供分布式锁的能力。为了解决这个问题就需要一种跨 JVM 的互斥机制来控制共享资源的访问,这就是分布式锁要解决的问题;

  • 分布式锁主流的实现方案:

    基于数据库实现分布式锁;

    基于缓存(Redis等);

    基于 Zookeeper;

  • 每一种分布式锁解决方案都有各自的优缺点:

    性能:redis 最高;

    可靠性:zookeeper 最高;

4.2 基于redis来实现分布式锁

设置锁:

释放锁:

避免设置锁的时候服务器挂掉来不及设置过期时间,直接连锁和过期时间一起设置:

手动设置一个锁的过期时间(这样就不需要再次del删除锁就可以设值了):

4.3 用idea来操作一遍redis分布式锁

  1. 给key设置值/numValue
  2. 使用锁机制,去实现资源控制/getLock
package com.lei.my_redis.redis;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.util.ObjectUtils;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.concurrent.TimeUnit;

@RestController
public class RedisLock {

    @Autowired
    private RedisTemplate<String, Object> redisTemplate;

    @GetMapping("/numValue")
    public String numValue() {
        redisTemplate.opsForValue().set("num", "1");
        return "1";
    }

    /**
     * 实现锁机制,如果该锁被持有者使用,未得到释放,那么取余的操作者不得使用到锁
     *
     * @return 打印日志
     */
    @GetMapping("/getLock")
    public String testLock() {

        /*
            1.在 Redis 中,使用 setIfAbsent 方法尝试获取锁时,如果锁的键已经存在(即锁已经被其他客户端持有),那么该操作将失败,
            2.不会重置锁的过期时间或更改锁的值。如果成功获取了锁(即锁的键之前不存在),那么会将锁的键设置为指定的值,并设置一个过期时间
            3.setIfAbsent锁设置:
                         key: 要设置的值
                         value: 要设置的键的值
                         timeout: 过期时间, 如果设置为-1, 表示该键没有过期时间(永久有效), 设置为0, 表示立即过期, 如果是整数, 就是该键在指定单位时间内过期
                         TimeUnit: 过期时间单位, 如 TimeUnit.SECONDS、TimeUnit.MILLISECONDS 等
         */
        Boolean lock = redisTemplate.opsForValue().setIfAbsent("lock6", "10", 5, TimeUnit.SECONDS);  // 1.获取锁,setnx;

        if (Boolean.TRUE.equals(lock)) {  // 2.获取锁成功,查询num 的值
            Object value = redisTemplate.opsForValue().get("num");  // 2.1判断nun为空,return
            if (ObjectUtils.isEmpty(value)) {
                return "num为空";
            }

            int num = Integer.parseInt(value + "");  // 2.2有值就转成int
            num++;
            redisTemplate.opsForValue().set("num", Integer.toString(num));  // 2.3把redis的num加1
            redisTemplate.delete("lock6");  // 2.4释放锁 del
            return "值设置成功: " + redisTemplate.opsForValue().get("num");
        } else {
            try {
                // Thread.sleep(100);  // 3.获取锁失败,每隔0.1秒再获取
                Thread.sleep(1000);  // 3.获取锁失败,每隔0.1秒再获取
                testLock();
            } catch (InterruptedException e) {
                throw new RuntimeException(e);
            }
        }
        return "资源正在获取中,请等待...";
    }
}

4.4 分布式上锁的情况下,锁释放了服务器b中的锁问题

问题描述:

解决办法(给锁设置一个uuid):

set lock uuid nx ex 10

设uuid:仅参考

        String uuid = UUID.randomUUID().toString();
        Boolean lock = redisTemplate.opsForValue().setIfAbsent("lock6", uuid, 5, TimeUnit.SECONDS);  // 1.获取锁,setnx;
        // 判断比较uuid值是否一样
        String lockUuid = (String) redisTemplate.opsForValue().get("lock6");
        if (Objects.requireNonNull(lockUuid).equals(uuid)) {
            redisTemplate.delete("lock6");  // 2.4释放锁 del
        }

4.5 LUA保证删除原子性

在我们使用redis继续上锁的过程中是缺少原子性的;

LUA脚本的作用支持java也支持C++,其中支持原子性;

可以用LUA脚本来解决误删key;

4.6 分布式锁小总结

为了确保分布式锁可用,我们至少要确保锁的实现同时满足以下四个条件:

-互斥性:在任意时刻,只有一个客户端能持有锁;

-不会发生死锁:即使有一个客户端在持有锁的期间崩溃而没有主动解锁,也能保证后续其他客户端能加锁;

-解铃还须系铃人:加锁和解锁必须是同一个客户端,客户端自己不能把别人加的锁给解了;

-加锁和解锁必须具有原子性;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/718636.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

水滴式粉碎机:粉碎干性物料的理想选择

在工业生产中&#xff0c;干性物料的粉碎是一个重要的环节&#xff0c;其对于提升产品质量、优化生产流程和提高生产效率具有显著的影响。近年来&#xff0c;水滴式粉碎机因其粉碎原理和工作性能&#xff0c;逐渐在干性物料粉碎领域崭露头角&#xff0c;成为众多企业的理想选择…

《Java2实用教程》 期末考试整理

作用域 当前类 当前包 子类 其他包 public √ √ √ √ protected √ √ √ default √ √ private √ 三、问答题&#xff08;每小题4分&#xff0c;共8分&#xff09; 1.类与对象的关系 对象&#xff1a;对象是类的一个实例&#xff0c;有状…

JavaScript事件类型和事件处理程序

● 之前我们用过了很多此的点击事件&#xff0c;这次让我们来学习另一种事件类型 mouseenter “mouseenter” 是一个鼠标事件类型&#xff0c;它在鼠标指针进入指定元素时触发。 const h1 document.querySelector(h1); h1.addEventListener(mouseenter, function (e) {aler…

【将xml文件转yolov5训练数据txt标签文件】连classes.txt都可以生成

将xml文件转yolov5训练数据txt标签文件 前言一、代码解析 二、使用方法总结 前言 找遍全网&#xff0c;我觉得写得最详细的就是这个博文⇨将xml文件转yolov5训练数据txt标签文件 虽然我还是没有跑成功。那个正则表达式我不会改QWQ&#xff0c;但是不妨碍我会训练ai。 最终成功…

关于从大平台跳转各个应用,更新应用前端包后,显示的仍是旧的内容,刷新应用页面后方才显示新的内容的问题的排查和解决

我们从绿洲物联平台跳转智能锁应用&#xff0c; 如下&#xff0c;我们可以看到&#xff0c;我们是通过a标签去跳转应用的。但是我们打开控制台的话&#xff0c;因为a标签是另外新开一个页面&#xff0c;我们看不到新页面的html文档的加载情况。 我们可以临时把_blank改成_sel…

WPF 上位机 Modbus 入门必备的信息 C# 开发对接

关于Modbus协议 Modbus协议是MODICON(莫迪康)(现施耐德品牌)在1979年开发的&#xff0c;是全球第一个真正用于现场的总线协议; Modbus协议是应用于电子控制器上的一种通用语言。通过此协议&#xff0c;可以实现控制器相互之间、控制器经由网络和其实设备之间的通 信。 Modbus特…

推荐 3 款小巧的文件压缩、投屏和快速启动软件,请收藏,避免找不到

Maya Maya是一款由博主25H开发的体积小巧、简单易用的快速启动工具。它的操作逻辑和界面设计几乎复刻了Rolan早期版本&#xff0c;功能上与Rolan几乎别无二致。Maya支持多文件拖拽添加启动、快捷键呼出、自动多列显示等功能。此外&#xff0c;Maya还具备lnk文件解析功能。 May…

分类模型:MATLAB判别分析

1. 判别分析简介 判别分析&#xff08;Discriminant Analysis&#xff09; 是一种统计方法&#xff0c;用于在已知分类的样本中构建分类器&#xff0c;并根据特征变量对未知类别的样本进行分类。常见的判别分析方法包括线性判别分析&#xff08;Linear Discriminant Analysis, …

在mybatis 中如何防止 IN里面的参数过多?

代码示例&#xff1a; select xsid from zhxg_gy_ssfp_cwfp where xsid in <foreach collection"list" item"item" open"(" close")" separator" " index"index"> <if test"(index % 999) 998&quo…

【kyuubi k8s】kyuubi发布k8s执行spark sql

背景 依据上一篇kyuubi与spark集成&#xff0c;并发布spark sql到k8s集群&#xff0c;上一篇的将kyuubi和spark环境放在本地某台服务器上的&#xff0c;为了高可用&#xff0c;本篇将其打包镜像&#xff0c;并发布到k8s。 其实就是将本地的kyuubi&#xff0c;spark&#xff0…

Nginx + KeepAlived高可用负载均衡集群

目录 一、Keepealived脑裂现象 1.现象 2.原因 3.解决 4.预防 二、实验部署 1.两台nginx做初始化操作并安装nginx 2.四层反向代理配置 3.配置高可用 4.准备检查nginx运行状态脚本 5.开启keepalived服务并测试 一、Keepealived脑裂现象 1.现象 主服务器和备服务器都同…

记录第一次edusrc挖掘

文章目录 一、前言二、漏洞说明截止目前已修复 一、前言 edusrc平台介绍 我们可以在关于页面看到edusrc的收录规则 现阶段&#xff0c;教育行业漏洞报告平台接收如下类别单位漏洞&#xff1a; 教育部 各省、自治区教育厅、直辖市教委、各级教育局 学校 教育相关软件 可以看到…

拉依达的嵌入式学习和秋招经验

拉依达的嵌入式学习和秋招经验 你好&#xff0c;我是拉依达。目前我已经结束了自己的学生生涯&#xff0c;开启了人生的下一个阶段。 从研二准备秋招开始&#xff0c;我就逐渐将自己的学习笔记陆续整理并到CSDN上发布。起初只是作为自己学习的备份记录&#xff0c;后续得到了越…

突然挣不到钱了?带货主播大降薪,有人收入“腰斩”!时薪低至20元,“不如街头发小广告”

韭菜都想来割韭菜了&#xff0c;从00后到60后都在直播带货&#xff0c;部分业内人士认为不懂行的商家以及海量素人主播的加入&#xff0c;拉低了行业的平均薪酬。 2024年的电商年中大促接近尾声&#xff0c;电商直播市场再次成为广为关注的焦点。然而&#xff0c;与热闹的“618…

Linux系统部署Samba服务,共享文件夹给Windows

Samba服务是在Linux和UNIX系统上实现SMB协议的一个免费软件&#xff0c;由服务器及客户端程序构成。 Samba服务是连接Linux与Windows的桥梁&#xff0c;它通过实现SMB&#xff08;Server Message Block&#xff09;协议来允许跨平台的文件和打印机共享。该服务不仅支持Linux和…

Xlua三方库Android编译出错解决办法

Xlua三方库Android编译出错解决办法 最近听老师的热更教程&#xff0c;讲到xlua编译android平台会报错&#xff0c;也是看了老师的博客&#xff0c;按照方法去解决&#xff0c;然而问题并没有解决。应该是因为代码更新或者版本不一样&#xff0c;在此简单记录一下解决过程。 参…

Apple Intelligence:苹果大模型部署方案

摘要&#xff1a; 设备端LLM&#xff1a;iOS18版本将包含一个本地小型、低延迟的LLM模型&#xff08;30亿参数&#xff09;&#xff0c;它能够理解用户命令、当前屏幕并在应用程序上执行操作。该模型不仅能处理总结等简单任务&#xff0c;还可以为Siri的“AI智能体”功能提供支…

2024年10款最佳免费人声分离软件,分离人声很简单,只要选对软件!

随着音乐制作和音频编辑的日益普及&#xff0c;人声分离软件在音频处理中扮演着越来越重要的角色。这类软件能够有效地将音频中的人声和伴奏分离&#xff0c;从而帮助用户更好地进行音频编辑和混音。在2024年&#xff0c;市场上涌现出了众多优秀的人声分离软件&#xff0c;本文…

Part 4.2 背包动态规划

->背包模型模板(0/1,分组&#xff0c;完全&#xff0c;多重)<- [NOIP2018 提高组] 货币系统 题目背景 NOIP2018 提高组 D1T2 题目描述 在网友的国度中共有 n n n 种不同面额的货币&#xff0c;第 i i i 种货币的面额为 a [ i ] a[i] a[i]&#xff0c;你可以假设每…

用Python pillow 创建和保存GIF动画

使用pillow库来创建和保存gif GIFs:图形交换格式(gif)是一种位图图像格式&#xff0c;由美国计算机科学家Steve Wilhite于1987年6月15日领导的在线服务提供商CompuServe的一个团队开发。 一个GIF文件通常存储一个图像&#xff0c;但该格式允许在一个文件中存储多个图像。该格…