Redis-布隆过滤器解决穿透详解

本文已收录于专栏
《中间件合集》

目录

  • 背景介绍
  • 概念说明
  • 原理说明
  • 解决穿透
  • 安装使用
    • 安装过程
      • Redis为普通安装的配置方式
      • Redis为Docker镜像安装的配置方式
    • 具体使用
      • 控制台操作命令说明
      • Spring Boot集成布隆过滤器
  • 总结提升

背景介绍

  布隆过滤器可以帮助我们解决Redis缓存雪崩的问题，那什么是布隆过滤器、布隆过滤器又是如何使用如何解决缓存雪崩的问题的，让我们带着这一系列的问题去详细了解布隆过滤器。

概念说明

  布隆过滤器是一种用于快速判断一个元素是否属于一个集合的数据结构。它通常用于大规模数据集合中，可以快速判断一个元素是否可能存在于集合中，但不能确定一定存在。布隆过滤器的主要优点是占用内存少、查询速度快，并且可以容忍一定的误判率。

原理说明

  布隆过滤器由一个位数组和多个哈希函数组成。位数组通常初始化为0，哈希函数用于将元素映射到位数组中的多个位置。当一个元素被加入到布隆过滤器中时，它会被哈希函数映射到位数组的多个位置，然后将这些位置的值设为1。当查询一个元素是否存在于布隆过滤器中时，哈希函数会将元素映射到位数组的多个位置，然后检查这些位置的值是否都为1，如果有一个位置的值为0，则可以确定元素一定不存在于集合中，如果所有位置的值都为1，则元素可能存在于集合中。
  布隆过滤器的误判率取决于位数组的大小和哈希函数的数量。通常情况下，误判率随着位数组大小的增加而减小，但会占用更多的内存。因此，使用布隆过滤器时需要根据实际情况权衡误判率和内存占用。
在这里插入图片描述

解决穿透

  我们还可以在存储和缓存之前，加⼀个布隆过滤器，做⼀层过滤。布隆过滤器⾥会保存数据是否存在，如果判断数据不存在，就不会访问存储。
在这里插入图片描述

安装使用

安装过程

Redis为普通安装的配置方式

1、下载布隆过滤器这个插件

wget https://github.com/RedisLabsModules/rebloom/archive/v2.2.6.tar.gz

2、解压文件

tar -zxvf v2.2.6.tar.gz

在这里插入图片描述
3、编辑插件

# 到RedisBloom对应目录
cd /usr/local/redis/RedisBloom-2.2.6
# 编译插件
make

4、Redis集成RedisBloom插件

# vim查看redis.conf
vim /usr/local/redis/config/redis.conf
# 在文件后面添加如下配置
loadmodule /usr/local/redis/RedisBloom-2.2.6/redisbloom.so

在这里插入图片描述
5、配置完之后重启Redis即可。

Redis为Docker镜像安装的配置方式

1、创建文件夹以及配置文件，用于挂在redis启动的后容器中的文件，方便我们在容器外部操作redis的配置

mkdir data  ##创建文件夹
touch redis.conf  ## 创建文件

2、在我们创建的redis.conf文件中添加一行配置loadmodule /data/RedisBloom-2.2.6/redisbloom.so
在这里插入图片描述
3、随后直接使用dokcer run命令进行启动

docker run -p 6379:6379 --name redis -v /root/redis/data:/data -v 
/root/redis/redis.conf:/etc/redis/redis.conf --restart=always 
--network host  -d redis:5.0.7 redis-server /etc/redis/redis.conf

这个命令是用于在 Docker 中运行 Redis 容器，并进行一些配置。下面是对每个参数的解释：

  • -p 6379:6379: 将 Docker 容器的端口 6379 映射到主机的端口 6379，以便可以从主机访问 Redis 服务。
  • –name redis: 指定容器的名称为 “redis”。
  • -v /root/redis/data:/data: 将主机的 /root/redis/data 目录挂载到容器的 /data 目录，用于持久化保存 Redis 数据。
  • -v /root/redis/redis.conf:/etc/redis/redis.conf: 将主机的 /root/redis/redis.conf 配置文件挂载到容器的 /etc/redis/redis.conf，使用该配置文件作为 Redis 的配置。
  • –restart=always: 设置容器在退出时自动重新启动。
  • –network host: 使用主机网络模式，容器将共享主机的网络栈。
  • -d: 在后台运行容器。
  • redis:5.0.7: 指定使用的 Redis 镜像及其版本号。
  • redis-server /etc/redis/redis.conf: 在容器中执行的命令，即启动 Redis 服务器，并使用指定的配置文件。

执行上述操作redis容器如果启动没有问题那么我们的布隆过滤器的插件和redis都安装并启动成功了，如果没有启动成功可以通过docker logs 查看一下redis的启动过程中出现什么问题。

具体使用

控制台操作命令说明

  • BF.ADD：向布隆过滤器中添加一个元素。
	BF.ADD <key> <item>
  • BF.EXISTS：检查一个元素是否存在于布隆过滤器中。
	BF.EXISTS <key> <item>

-BF.MADD：向布隆过滤器中批量添加多个元素。

	BF.MADD <key> <item> [item ...]
  • BF.MEXISTS：批量检查多个元素是否存在于布隆过滤器中。
	BF.MEXISTS <key> <item> [item ...]
  • BF.INFO：获取布隆过滤器的信息，包括容量、误判率等。
	BF.INFO <key>
  • BF.RESERVE：创建一个新的布隆过滤器，并指定容量和误判率。
	BF.RESERVE <key> <error_rate> <capacity>
  • BF.COUNT：统计布隆过滤器中已添加的元素数量。
	BF.COUNT <key>

  给user过滤器添加一个元素，如果我们没有添加创建布隆过滤器，系统会给我们创建一个，其中布隆过滤器的容量为100，判错率为0.01这是布隆过滤器的默认配置，我们可以在创建布隆过滤器的时候进行修改。
在这里插入图片描述

Spring Boot集成布隆过滤器

1、引入依赖：这里使用的redis的过滤器所以用到的依赖直接使用的spring-data-redis这个就可以了。

        <!--redis的依赖-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-redis</artifactId>
        </dependency>

2、布隆过滤器的工具类

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.script.DefaultRedisScript;
import org.springframework.data.redis.core.script.RedisScript;
import org.springframework.data.redis.serializer.RedisSerializer;
import org.springframework.stereotype.Component;
import org.springframework.transaction.annotation.Transactional;

import java.util.Collections;
import java.util.List;
import java.util.stream.Collectors;

@Component
public class RedisBloomUtil {
    @Autowired
    private RedisTemplate redisTemplate;
    // 初始化一个布隆过滤器
    public Boolean tryInitBloomFilter(String key, long expectedInsertions, double falseProbability) {
        Boolean keyExist = redisTemplate.hasKey(key);
        if(keyExist) {
            return false;
        }
        RedisScript<Boolean> script = new DefaultRedisScript<>(bloomInitLua(), Boolean.class);
        RedisSerializer stringSerializer = redisTemplate.getStringSerializer();
        redisTemplate.execute(script, stringSerializer, stringSerializer, Collections.singletonList(key), falseProbability+"", expectedInsertions+"");
        return true;
    }
    // 添加元素
    public Boolean addInBloomFilter(String key, Object arg) {
        RedisScript<Boolean> script = new DefaultRedisScript<>(addInBloomLua(), Boolean.class);
        return (Boolean) redisTemplate.execute(script, Collections.singletonList(key), arg);
    }
    @Transactional
    // 批量添加元素
    public Boolean batchAddInBloomFilter(String key, Object... args) {
        RedisScript<Boolean> script = new DefaultRedisScript<>(batchAddInBloomLua(), Boolean.class);
        return (Boolean) redisTemplate.execute(script, Collections.singletonList(key), args);
    }
    // 查看某个元素是否是存在
    public Boolean existInBloomFilter(String key, Object arg) {
        RedisScript<Boolean> script = new DefaultRedisScript<>(existInBloomLua(), Boolean.class);
        return (Boolean) redisTemplate.execute(script, Collections.singletonList(key), arg);
    }
    // 批量查看元素是否存在
    public List batchExistInBloomFilter(String key, Object... args) {
        RedisScript<List> script = new DefaultRedisScript(batchExistInBloomLua(), List.class);
        List<Long> results = (List) redisTemplate.execute(script, Collections.singletonList(key), args);
        List<Boolean> booleanList = results.stream().map(res -> res == 1 ? true : false).collect(Collectors.toList());
        return booleanList;
    }


    private String bloomInitLua() {
        return "redis.call('bf.reserve', KEYS[1], ARGV[1], ARGV[2])";
    }
    private String addInBloomLua() {
        return "return redis.call('bf.add', KEYS[1], ARGV[1])";
    }
    private String batchAddInBloomLua() {
        StringBuilder sb = new StringBuilder();
        sb.append("for index, arg in pairs(ARGV)").append("\r\n");
        sb.append("do").append("\r\n");
        sb.append("redis.call('bf.add', KEYS[1], arg)").append("\r\n");
        sb.append("end").append("\r\n");
        sb.append("return true");
        return sb.toString();
    }
    private String existInBloomLua() {
        return "return redis.call('bf.exists', KEYS[1], ARGV[1])";
    }
    private String batchExistInBloomLua() {
        StringBuilder sb = new StringBuilder();
        sb.append("local results = {}").append("\r\n");
        sb.append("for index, arg in pairs(ARGV)").append("\r\n");
        sb.append("do").append("\r\n");
        sb.append("local exist = redis.call('bf.exists', KEYS[1], arg)").append("\r\n");
        sb.append("table.insert(results, exist)").append("\r\n");
        sb.append("end").append("\r\n");
        sb.append("return results;");
        return sb.toString();
    }
}

总结提升

  布隆过滤器适用于需要快速判断一个元素是否可能存在于集合中的场景，例如网络爬虫中的去重、缓存中的数据判断等。但需要注意的是，布隆过滤器无法删除元素，也无法准确地判断一个元素是否存在于集合中，因此在一些场景下可能会产生误判。

🎯 此文章对你有用的话记得留言+点赞+收藏哦🎯

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/375309.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【JS逆向学习】今日头条

【JS逆向学习】今日头条

逆向目标 目标网页&#xff1a;https://www.toutiao.com/?wid1707099375036目标接口&#xff1a;https://www.toutiao.com/api/pc/list/feed目标参数&#xff1a;_signature 逆向过程 老规矩先观察网络请求&#xff0c;过滤XHR请求观察加密参数&#xff0c;发现Payload的_s…
阅读更多...
从蜗牛到超光速：Python 加速Playwright安装过程

从蜗牛到超光速：Python 加速Playwright安装过程

目录 1. Python Playwright 安装简介2. 镜像加速的概念3. Python Playwright 镜像加速的必要性4. Python 安装 playwright5. 如何使用镜像加速安装 Python Playwright6. 总结 1. Python Playwright 安装简介 Python Playwright 是一个用于自动化 Web 浏览器交互的库它支持多种…
阅读更多...
【C语言】三子棋游戏实现代码

【C语言】三子棋游戏实现代码

目录 1.三子棋代码功能介绍 2.三子棋游戏实现步骤 ①打印菜单栏 ②判断是否进入三子棋游戏 ③三子棋游戏基本函数实现 &#xff08;1&#xff09;清空&#xff08;初始化&#xff09;棋盘函数实现 &#xff08;2&#xff09;打印棋盘函数实现 &#xff08;3&#xff0…
阅读更多...
科研绘图-半小提琴图-

科研绘图-半小提琴图-

文章目录 前言1.软件安装-Origin 20222.绘制半小提琴图3.绘制径向条形图 前言 本文叙述记录的是一些科研绘图的实现方法&#xff0c;具体介绍从软件安装到实现图表绘制的详细过程。 1.软件安装-Origin 2022 Origin是一款具有丰富绘图功能的科研绘图软件&#xff0c;安装过程…
阅读更多...
【Leetcode】1696. 跳跃游戏 VI

【Leetcode】1696. 跳跃游戏 VI

文章目录 题目思路代码结果 题目 题目链接 给你一个下标从 0 开始的整数数组 nums 和一个整数 k 。 一开始你在下标 0 处。每一步&#xff0c;你最多可以往前跳 k 步&#xff0c;但你不能跳出数组的边界。也就是说&#xff0c;你可以从下标 i 跳到 [i 1&#xff0c; min(n -…
阅读更多...
Kuberntes权威指南

Kuberntes权威指南

一、目录 二、Kubernetes入门 三、Kubernetes核心原理 四、Kubernetes开发指南 五、Kubernetes运维指南 六、Kubernetes高级案例进阶 七、Kubernetes源码导读
阅读更多...
【BIAI】Lecture 12 - Emotion in Brain AI

【BIAI】Lecture 12 - Emotion in Brain AI

Emotion in Brain & AI 专业术语 Limbic system 边缘系统 Amygdala 杏仁核 temporal lobe 颞叶 hippocampus 海马体 Central Nucleus 中央核 medial amygdala 内侧杏仁核 ventral periaqueductal gray 腹侧中脑导水管周围灰质 课程大纲 What is emotion 当大脑检测到某些具…
阅读更多...
C++适配器——stack queue

C++适配器——stack queue

栈和队列 本章思维导图&#xff1a; 注&#xff1a;本章思维导图对应的.xmind和.png文件都已同步导入至资源&#xff0c;可免费查看 文章目录 栈和队列1. 适配器2. 栈 stack2.1 概念及结构2.2 使用2.3 模拟实现 3. 队列 queue3.1 普通队列 queue3.1.1 概念及结构3.1.2 使用3.1…
阅读更多...
vue3 watch和watchEffect

vue3 watch和watchEffect

Watch监听ref定义的数据 1.ref数据基本数据类型 let sumref&#xff08;0&#xff09; const stopWatchwatch&#xff08;sum,(new,old)>{ If(new>10){ stopWatch() } console.log(‘sum数据变化了’) }&#xff09;2.ref数据为对象类型,监听的是对象的地址值,若想监听…
阅读更多...
Android：Android Studio安装及环境配置

Android：Android Studio安装及环境配置

1开发环境搭建 Android开发需要使用java的jdk环境，所以需要下载JAVA JDK。 1.1安装配置JAVA JDK Java的JDK下载: https://www.oracle.com/technetwork/java/javase/downloads/index.html 配置java的环境变量： JAVA_HOME:java安装路径。 新增环境变量CLASSPATH 在Path环境…
阅读更多...
如何部署Linux AMH服务器管理面板并结合内网穿透远程访问

如何部署Linux AMH服务器管理面板并结合内网穿透远程访问

文章目录 1. Linux 安装AMH 面板2. 本地访问AMH 面板3. Linux安装Cpolar4. 配置AMH面板公网地址5. 远程访问AMH面板6. 固定AMH面板公网地址 AMH 是一款基于 Linux 系统的服务器管理面板&#xff0c;它提供了一系列的功能&#xff0c;包括网站管理、FTP 管理、数据库管理、DNS 管…
阅读更多...
如何使用第三方API采集电商数据呢？

如何使用第三方API采集电商数据呢？

电商商家最常唠叨的就是店铺运营难做。每日多平台店铺数据统计汇总繁琐耗时&#xff0c;人工效率偏低&#xff0c;且工作内容有限。 特别是眼下“618&#xff0c;双十一&#xff0c;双十二&#xff0c;年底大促”将至&#xff0c;如何提高运营的效率和质量、保证产品及服务的良…
阅读更多...
vue3 使用defineAsyncComponent 动态加载组件

vue3 使用defineAsyncComponent 动态加载组件

问题场景 在项目中使用静态加载组件基本能覆盖80%的场景了&#xff0c;如下图 但是我们在需要 循环生成一些的component 的时候或者在 开发ssr服务端渲染的页面 就会遇到有些组件以静态方式导入就会报错&#xff0c;导致进程失败&#xff0c;那么这时候就需要用到动态组件。那…
阅读更多...
P1808 单词分类

P1808 单词分类

P1808 单词分类 题目描述 Oliver 为了学好英语决定苦背单词&#xff0c;但很快他发现要直接记住杂乱无章的单词非常困难&#xff0c;他决定对单词进行分类。 两个单词可以分为一类当且仅当组成这两个单词的各个字母的数量均相等。 例如 AABAC&#xff0c;它和 CBAAA 就可以…
阅读更多...
Vue中对虚拟DOM的理解

Vue中对虚拟DOM的理解

作为现代前端开发中的主流框架之一&#xff0c;Vue.js是一个非常流行的JavaScript框架&#xff0c;其核心概念之一就是虚拟DOM&#xff08;Virtual DOM&#xff09;。在本篇文章中&#xff0c;我们将深入探讨Vue中虚拟DOM的概念&#xff0c;并讨论为什么它在前端开发中如此重要…
阅读更多...
高清符合要求的SCI图片使用RStudio导出

高清符合要求的SCI图片使用RStudio导出

4.图片格式区别和常识 在计算机中&#xff0c;JPEG&#xff08;发音为jay-peg, IPA&#xff1a;[ˈdʒeɪpɛg]&#xff09;是一种针对照片视频而广泛使用的有损压缩标准方法。这个名称代表Joint Photographic Experts Group&#xff08;联合图像专家小组&#xff09;。此团队创…
阅读更多...
总结：图像生成网络

总结：图像生成网络

1、最新的几款图像生成网络 eCNN 文献&#xff1a;Bahrami A, Karimian A, Fatemizadeh E, et al. A new deep convolutional neural network design with efficient learning capability: Application to CT image synthesis from MRI[J]. Medical physics, 2020, 47(10): 515…
阅读更多...
Linux 分析指定JAVA服务进程所占内存CPU详情

Linux 分析指定JAVA服务进程所占内存CPU详情

1、获取服务进程PID [rootVM-32-26-centos ~]# service be3Service status Application is running as root (UID 0). This is considered insecure. Running [25383]2、获取进程占用详情 [rootVM-32-26-centos ~]# cat /proc/25383/status Name: java Umask: 0022 State: S…
阅读更多...
2024-2-6-复习作业

2024-2-6-复习作业

1> 要求&#xff1a; 源代码&#xff1a; #include <stdio.h> #include <stdlib.h> void output(int arr[],int len) {for(int i0;i<len;i){printf("%d ",arr[i]);}puts(""); } void bubble_sort(int arr[],int len) {for(int i1;i<…
阅读更多...
python的进程，线程、协程

python的进程，线程、协程

python进程的实现 #coding:utf-8 from multiprocessing import Process import timedef run(name):print(%s is running % name)time.sleep(3)print(%s finished his run % name)if __name__ __main__:p Process(targetrun, args(XWenXiang,)) # 创建一个进程对象p.start()…
阅读更多...
最新文章

Copyright @ 2022~2023