Redis缓存预热

说明：项目中使用到Redis，正常情况，我们会在用户首次查询数据的同时把该数据按照一定命名规则，存储到Redis中，称为冷启动（如下图），这种方式在一些情况下可能会给数据库带来较大的压力。

因此，我们可以使用另一种方式，在项目启动的时候就提前把一些热点数据提前查询并保存到Redis中，称为缓存预热。

（冷启动）

在这里插入图片描述

环境准备

例如，现在我数据库中有以下用户的信息，我想在项目启动的时候就把这些数据存入到数据库中；

在这里插入图片描述

以下操作在CentOS系统中完成；

代码实现

第一步：安装OpenResty

OpenResty是基于Nginx的高性能Web平台，可方便地搭建能够超过并发、扩展性极高的动态Web应用、Web服务和动态网关。OpenResty具备以下特点：

  • Nginx的完整功能；

  • 基于Lua语言，集成了大量精良的Lua库、第三方模块；

  • 允许使用Lua自定义业务逻辑、自定义库；

可参考安装OpenResty，这不是本文的重点；

第二步：配置环境变量

安装完OpenResty之后，先配置一下Nginx的环境变量；

vi /etc/profile

在文件最下面，加入下面两行配置

export NGINX_HOME=/usr/local/openresty/nginx
export PATH=${NGINX_HOME}/sbin:$PATH

在这里插入图片描述

保存退出，在敲下面的命令，使配置生效

source /etc/profile

在这里插入图片描述

第三步：修改配置

OpenResty会默认安装在/usr/local/openresty路径下，可在该目录在看到一个Nginx目录，也就是说OpenResty拥有Nginx的功能。进入到Nginx目录，找到配置文件，进行自适应修改：

在这里插入图片描述

如下修改：

#user  nobody;
worker_processes  1;
error_log  logs/error.log;

events {
    worker_connections  1024;
}

http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;

    server {
        listen       8081;
        server_name  localhost;
        location / {
            root   html;
            index  index.html index.htm;
        }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
    # 设置捕捉的请求路径
	location  /user {
    	# 默认的响应类型
        default_type application/json;
   	    # 响应结果由lua/user.lua文件来决定，待会儿我们来编写这个文件
   	    content_by_lua_file lua/user.lua;
	}
    }
   #lua 模块
   lua_package_path "/usr/local/openresty/lualib/?.lua;;";
   #c模块     
   lua_package_cpath "/usr/local/openresty/lualib/?.so;;";  
   # 共享字典，就是本地缓存，名称为user_cache，大小150m
   lua_shared_dict user_cache 150m; 
}

第四步：启动测试

OpenResty启动、停止、重新加载配置的命令与Nginx基本一样，敲nginx启动OpenResty；

# 启动服务
nginx

# 停止服务
ngxin -s stop

# 重新加载配置
ngxin -s stop

在这里插入图片描述

敲IP地址加端口号，看到以下内容，即为安装成功

在这里插入图片描述

第五步：启动MySQL、Redis服务

接下来，使用Docker启动mysql、redis服务，注意使用云服务器需要开放相关端口，使用虚拟机需要关闭防火墙；

在启动mysql之前，先在/tmp目录下创建一个mysql文件夹，用于挂载容器的数据和配置文件目录；

# 进入/tmp目录
cd /tmp

# 创建文件夹
mkdir mysql

# 进入mysql目录
cd mysql

在这里插入图片描述

启动mysql服务，账号密码设置为：root、123456（注意以下命令需要在mysql目录下执行）

docker run \
 -p 3306:3306 \
 --name mysql \
 -v $PWD/conf:/etc/mysql/conf.d \
 -v $PWD/logs:/logs \
 -v $PWD/data:/var/lib/mysql \
 -e MYSQL_ROOT_PASSWORD=123456 \
 --privileged \
 -d \
 mysql:5.7.25

在这里插入图片描述

敲下面的命令，使用docker启动redis服务；

docker run --name redis -p 6379:6379 -d redis redis-server --appendonly yes

在这里插入图片描述

第六步：编写代码

服务启动后，来进行代码的编写，以下是一个简单的SpringBoot项目，DAO层使用的是Mybatis-plus，只有两个接口，一个查询所有用户信息，一个根据用户ID查询用户信息。

controller层代码

import java.util.List;

@RestController
@RequestMapping("/user")
public class UserController {

    @Autowired
    private UserService userService;

    /**
     * 查询所有用户信息
     * @return
     */
    @GetMapping("list")
    public List<User> getUsers() {
        return userService.list();
    }

    /**
     * 根据ID查询用户信息
     * @param id
     * @return
     */
    @GetMapping("{id}")
    public User getUserById(@PathVariable Long id) {
        return userService.getById(id);
    }
}

pom.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.hzy</groupId>
    <artifactId>caffeine_demo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>11</maven.compiler.source>
        <maven.compiler.target>11</maven.compiler.target>
    </properties>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.7.12</version>
        <relativePath/>
    </parent>

    <dependencies>
        <!--web依赖-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <!--lombok-->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>

        <!--mybatis-plus-->
        <dependency>
            <groupId>com.baomidou</groupId>
            <artifactId>mybatis-plus-boot-starter</artifactId>
            <version>3.5.2</version>
        </dependency>

        <!--mysql驱动-->
        <dependency>
            <groupId>com.mysql</groupId>
            <artifactId>mysql-connector-j</artifactId>
            <scope>runtime</scope>
        </dependency>

        <!--druid数据库连接池-->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid-spring-boot-starter</artifactId>
            <version>1.2.8</version>
        </dependency>

        <!--测试类-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        
        <!--redis依赖-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-redis</artifactId>
        </dependency>

        <!--hutool工具包依赖-->
        <dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-all</artifactId>
            <version>5.8.6</version>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>
</project>

配置文件，注意IP地址和端口号，如果使用的是云服务器，注意MySQL连接时需要加上useSSL=false；

server:
  port: 8081
spring:
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://IP地址:3306/db_user?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8
    username: root
    password: 123456
  mvc:
    pathmatch:
      matching-strategy: ant_path_matcher
  redis:
    host: IP地址
mybatis-plus:
  type-aliases-package: com.hzy.pojo
  config-locations: classpath/mapper/*.xml

第七步：启动测试

这些环境搭建完成后，应该启动一下项目，看是否能正常跑起来；

（启动正常）

在这里插入图片描述

（测试接口，也没问题）
在这里插入图片描述

第八步：缓存预热实现

创建一个RedisHandler类，该类的作用是，在项目启动时访问数据库，查询所有用户信息并存入到数据库中；

import com.fasterxml.jackson.core.JsonProcessingException;
import com.fasterxml.jackson.databind.ObjectMapper;
import com.hzy.pojo.User;
import com.hzy.service.UserService;
import org.springframework.beans.factory.InitializingBean;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.redis.core.StringRedisTemplate;
import org.springframework.stereotype.Component;

import java.util.List;

@Component
public class RedisHandler implements InitializingBean {

    @Autowired
    private StringRedisTemplate redisTemplate;

    @Autowired
    private UserService userService;

    private static final ObjectMapper MAPPER = new ObjectMapper();

    @Override
    public void afterPropertiesSet() throws Exception {
        // 初始化缓存
        // 1.查询所有用户信息
        List<User> userList = userService.list();

        // 2.放入缓存
        for (User user : userList) {

            // 2.1.将user对象序列化为JSON
            String json = MAPPER.writeValueAsString(user);

            // 2.2.设置key前缀，存入redis
            redisTemplate.opsForValue().set("user:id:" + user.getId(), json);
        }
    }
}

第九步：编写lua文件

接下来，需要编写两个lua文件，一个是通用操作（common.lua），一个是redis的查询操作（user.lua），内容分别如下：

common.lua文件在 /usr/local/openresty/lualib/common.lua 里面，使用以下命令编辑，如下：

vi /usr/local/openresty/lualib/common.lua

内容如下，不需要修改可以直接复制使用：

-- 导入redis
local redis = require('resty.redis')
-- 初始化redis
local red = redis:new()
red:set_timeouts(1000, 1000, 1000)

-- 关闭redis连接的工具方法，其实是放入连接池
local function close_redis(red)
    local pool_max_idle_time = 10000 -- 连接的空闲时间，单位是毫秒
    local pool_size = 100 --连接池大小
    local ok, err = red:set_keepalive(pool_max_idle_time, pool_size)
    if not ok then
        ngx.log(ngx.ERR, "放入redis连接池失败: ", err)
    end
end

-- 查询redis的方法 ip和port是redis地址，key是查询的key
local function read_redis(ip, port, key)
    -- 获取一个连接
    local ok, err = red:connect(ip, port)
    if not ok then
        ngx.log(ngx.ERR, "连接redis失败 : ", err)
        return nil
    end
    -- 查询redis
    local resp, err = red:get(key)
    -- 查询失败处理
    if not resp then
        ngx.log(ngx.ERR, "查询Redis失败: ", err, ", key = " , key)
    end
    --得到的数据为空处理
    if resp == ngx.null then
        resp = nil
        ngx.log(ngx.ERR, "查询Redis数据为空, key = ", key)
    end
    close_redis(red)
    return resp
end

-- 封装函数，发送http请求，并解析响应
local function read_http(path, params)
    local resp = ngx.location.capture(path,{
        method = ngx.HTTP_GET,
        args = params,
    })
    if not resp then
        -- 记录错误信息，返回404
        ngx.log(ngx.ERR, "http查询失败, path: ", path , ", args: ", args)
        ngx.exit(404)
    end
    return resp.body
end
-- 将方法导出
local _M = {  
    read_http = read_http,
    read_redis = read_redis
}  
return _M

user.lua文件是自定义的，我们在openresty目录下创建一个lua文件夹，用于存放该文件夹

cd /usr/local/openresty

mkdir lua

在这里插入图片描述

user.lua文件内容如下，需要自适应修改：

-- 导入common函数库
local common = require('common')
local read_http = common.read_http
local read_redis = common.read_redis
-- 导入cjson库
local cjson = require('cjson')
-- 导入共享词典，本地缓存
local user_cache = ngx.shared.user_cache

-- 封装查询函数
function read_data(key, expire, path, params)
    -- 查询本地缓存
    local val = user_cache:get(key)
    if not val then
        ngx.log(ngx.ERR, "本地缓存查询失败，尝试查询Redis， key: ", key)
        -- 查询redis
        val = read_redis("127.0.0.1", 6379, key)
        -- 判断查询结果
        if not val then
            ngx.log(ngx.ERR, "redis查询失败，尝试查询http， key: ", key)
            -- redis查询失败，去查询http
            val = read_http(path, params)
        end
    end
    -- 查询成功，把数据写入本地缓存
    user_cache:set(key, val, expire)
    -- 返回数据
    return val
end

-- 获取路径参数
local id = ngx.var[1]

-- 查询商品信息
local userJSON = read_data("user:id:" .. id, 1800,  "/user/" .. id, nil)

-- JSON转化为lua的table
local user = cjson.decode(userJSON)

-- 把user序列化为json 返回结果
ngx.say(cjson.encode(user))

第十步：重启项目

此时在云服务器上进入redis容器，打开redis客户端，查看数据内容；

# 进入redis容器
docker exec -it redis bash

# 打开redis客户端
redis-cli

# 查看redis所有的键值
keys *

什么都没有，nothing；

在这里插入图片描述

此时，我们重启项目；

在这里插入图片描述

再敲命令，查看redis所有值，可以看到所有的数据都已经存入了，可根据key查询到每一条用户的信息；

在这里插入图片描述

到此，Redis缓存预热已完成；

总结

Redis缓存预热的执行是与项目启动一起的，不需要用户发送请求，是在项目启动时自发的操作。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/54924.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

C++ 结构体和联合体

C++ 结构体和联合体

1.结构体 结构体是一种特殊形态的类&#xff0c;它和类一样&#xff0c;可以有自己的数据成员和函数成员&#xff0c;可以有自己的构造函数和析构函数&#xff0c;可以控制访问权限&#xff0c;可以继承&#xff0c;支持包含多态&#xff0c;结构体定义的语法和类的定义语法几…
阅读更多...
【ChatGPT】ChatGPT是如何训练得到的？

【ChatGPT】ChatGPT是如何训练得到的？

前言 ChatGPT是一种基于语言模型的聊天机器人&#xff0c;它使用了GPT&#xff08;Generative Pre-trained Transformer&#xff09;的深度学习架构来生成与用户的对话。GPT是一种使用Transformer编码器和解码器的预训练模型&#xff0c;它已被广泛用于生成自然语言文本的各种…
阅读更多...
ubuntu远程控制小车 运行rviz时报错

ubuntu远程控制小车 运行rviz时报错

我买的是wheeltec的小车&#xff0c;测试rgbd相机时想在ubuntu上的rviz中显示小车的姿态和看到的rgb和depth图&#xff0c;但是ubuntu中rostopic list和rviz都找不到小车发布的话题信息&#xff0c;运行rqt_image_view时可以显示图片信息。 最终wheeltec的技术人员lucas帮我找了…
阅读更多...
MIT 6.S081 Lab Ten -- mmap

MIT 6.S081 Lab Ten -- mmap

MIT 6.S081 Lab Ten -- mmap 引言mmap(hard)代码解析 引言 本文为 MIT 6.S081 2020 操作系统 实验十解析。 MIT 6.S081课程前置基础参考: 基于RISC-V搭建操作系统系列 mmap(hard) map和munmap系统调用允许UNIX程序对其地址空间进行详细控制。它们可用于在进程之间共享内存&a…
阅读更多...
基于springboot+mybatis+vue进销存管理信息系统

基于springboot+mybatis+vue进销存管理信息系统

基于springbootmybatisvue进销存管理信息系统 一、系统介绍二、功能展示1.个人中心2.企业信息管理3.商品信息管理4.客户信息管理5.入库记录管理6.出库记录管理7.出库记录管理8.操作日志管理9.库存盘点管理 四、获取源码 一、系统介绍 系统主要功能&#xff1a; 普通用户&#…
阅读更多...
华为OD机试真题 Java 实现【简单的自动曝光】【2023Q1 100分】，附详细解题思路

华为OD机试真题 Java 实现【简单的自动曝光】【2023Q1 100分】，附详细解题思路

目录 专栏导读一、题目描述二、输入描述三、输出描述四、备注五、解题思路六、Java算法源码七、效果展示1、输入2、输出3、说明4、再输入5、输出6、说明 华为OD机试 2023B卷题库疯狂收录中&#xff0c;刷题点这里 专栏导读 本专栏收录于《华为OD机试&#xff08;JAVA&#xff…
阅读更多...
css中flex后文本溢出的问题

css中flex后文本溢出的问题

原因&#xff1a; 为了给flex item提供一个合理的默认最小尺寸&#xff0c;flex将flex item的min-width 和 min-height属性设置为了auto flex item的默认设置为&#xff1a; min-width&#xff1a; auto 水平flex布局 min-height&#xff1a;auto 垂直flex布局 解决办法&…
阅读更多...
PHP8的变量-PHP8知识详解

PHP8的变量-PHP8知识详解

昨天我们讲解了PHP8的常量&#xff0c;今天讲解PHP8的变量。常量有定义常量和预定义常量&#xff0c;变量呢&#xff1f;那就没有定义变量了&#xff0c;那叫给变量赋值&#xff0c;但是还是有预定义变量的。下面就给大家讲解什么是变量、变量赋值及使用及预定义变量。 一、什么…
阅读更多...
zookeeper基础

zookeeper基础

安装 https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/ 命令 bin/zkServer.sh start bin/zkServer.sh stop bin/zkServer.sh status bin/zkCli.sh ll / quit 各个配置项的含义&#xff1a; tickTime&#xff1a;每个时钟周期的毫秒数。ZooKeeper使用一个内部…
阅读更多...
DevOps系列文章之 java调用python脚本

DevOps系列文章之 java调用python脚本

在java类中直接执行python语句 在java类中直接调用本地python脚本 使用Runtime.getRuntime()执行python脚本文件&#xff08;推荐&#xff09; 调用python脚本中的函数 简单介绍 官网地址 首页 | (jython.org) Jython项目提供了Java中的Python实现&#xff0c; 为Python提供了…
阅读更多...
功能测试也可以发现数据库相关的性能问题

功能测试也可以发现数据库相关的性能问题

很多同学认为功能测试和性能测试是严格分开的&#xff0c;功能测试人员无法发现性能问题。其实不是这样的&#xff0c;功能测试人员在验证功能时也可以发现性能问题&#xff1b;一些功能反而在功能测试环境不好验证&#xff0c;需要在性能环境上测试。 今天咱们就说一下测试涉及…
阅读更多...
【Redis】内存数据库Redis进阶（搭建各种集群）

【Redis】内存数据库Redis进阶（搭建各种集群）

目录 单机安装Redis搭建Redis主从集群搭建Redis哨兵集群 基于 CentOS 7 的 Redis 集群 单机安装Redis 安装 Redis 所需要的依赖&#xff1a; yum install -y gcc tcl将 Redis 安装包&#xff08;redis-6.2.4.tar.gz&#xff09;上传到任意目录 解压缩&#xff1a; tar -xzf …
阅读更多...
【数据结构】图文并茂，通过逻辑图带你轻松拿捏链表，实现各种接口功能

【数据结构】图文并茂，通过逻辑图带你轻松拿捏链表，实现各种接口功能

君兮_的个人主页 勤时当勉励 岁月不待人 C/C 游戏开发 Hello,米娜桑们&#xff0c;这里是君兮_&#xff0c;我们接着之前讲过的顺序表来继续介绍初阶数据结构的内容&#xff0c;今天给大家带来的是有关链表的基本知识和各种接口功能的实现 好了&#xff0c;废话不多说&#x…
阅读更多...
【uniapp】实现买定离手小游戏

【uniapp】实现买定离手小游戏

前言 最近玩了一个小游戏&#xff0c;感觉挺有意思&#xff0c;打算放进我的小程序【自动化小助手】里面&#xff0c;“三张押一张&#xff0c;专押花姑娘&#xff01;”&#xff0c;从三张卡牌&#xff0c;挑选一张&#xff0c;中奖后将奖励进行发放&#xff0c;并且创建下一…
阅读更多...
Github-Copilot初体验-Pycharm插件的安装与测试

Github-Copilot初体验-Pycharm插件的安装与测试

引言&#xff1a; 80%代码秒生成&#xff01;AI神器Copilot大升级 最近copilot又在众多独角兽公司的合力下&#xff0c;取得了重大升级。GitHub Copilot发布还不到两年&#xff0c; 就已经为100多万的开发者&#xff0c;编写了46%的代码&#xff0c;并提高了55%的编码速度。 …
阅读更多...
AMEYA详解松下Panasonic HF SSOP 1 Form A AQY PhotoMOS继电器

AMEYA详解松下Panasonic HF SSOP 1 Form A AQY PhotoMOS继电器

Panasonic HF SSOP 1 Form A AQY PhotoMOS继电器采用微型SSOP封装&#xff0c;具有600V的负载电压和1500Vrms 的I/O隔离电压 这些继电器具有8Ω的低导通电阻和高速运行的特点&#xff0c;SSOP封装旨在实现高密度安装。Panasonic HF SSOP AQY PhotoMOS继电器适用于从测试和测量设…
阅读更多...
【HDFS】Block、BlockInfo、BlockInfoContiguous、BlockInfoStriped的分析记录

【HDFS】Block、BlockInfo、BlockInfoContiguous、BlockInfoStriped的分析记录

本文主要介绍如下内容： 关于几个Block类之间的继承、实现关系；针对文章标题中的每个类，细化到每个成员去注释分析列出、并详细分析BlockInfo抽象类提供的抽象方法、非抽象方法的功能针对几个跟块组织结构的方法再进行分析。moveBlockToHead、listInsert、listRemove等。一、…
阅读更多...
从引入并集成多LLM到发布自研模型，RPA与LLM的融合进度怎样了？

从引入并集成多LLM到发布自研模型，RPA与LLM的融合进度怎样了？

RPA厂商对于大语言模型&#xff08;LLM&#xff0c;Large Language Model&#xff09;的应用&#xff0c;比大家想象的还要早一些。 毕竟&#xff0c;2019年兴起的这一波RPA热&#xff0c;背后都是因为AI技术。没有AI技术与RPA的融合&#xff0c;也就没有现在的RPA。 为了全力…
阅读更多...
flutter开发实战-旋转loading指示器

flutter开发实战-旋转loading指示器

flutter开发实战-旋转loading指示器。 一、交织动画 有些时候我们可能会需要一些复杂的动画&#xff0c;这些动画可能由一个动画序列或重叠的动画组成。一个动画组合在不同阶段包含了多种动画&#xff0c;要实现这种效果&#xff0c;需要使用交织动画&#xff08;Stagger Anim…
阅读更多...
通过社区参与解锁早期增长：Maven 远程医疗平台概览

通过社区参与解锁早期增长：Maven 远程医疗平台概览

Maven通过用户导向的渐进式验证&#xff0c;找到了一个被忽视的巨大女性医疗服务市场&#xff0c;作为女性医疗保健的先行者&#xff0c;已服务超过1500万用户&#xff0c;目前估值已达$14亿。本文将深入探索Maven实现产品市场匹配的三个阶段&#xff0c;从如何验证初始的市场机…
阅读更多...
最新文章

Copyright @ 2022~2023