【多级缓存】多级缓存OpenResty，Canal，nginx本地缓存

多级缓存

  • 安装OpenResty
  • OpenResty入门
    • OpenResty获取请求参数
    • OpenResty向tomcat服务器发送请求
  • 在nginx与tomcat端之间添加redis缓存
  • Redis本地缓存
  • 缓存同步
    • 缓存同步策略
    • 基于Canal的异步通知
      • 安装Canal
    • Canal客户端

安装OpenResty

OpenResty是一个基于 Nginx的高性能 Web 平台，用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用Web 服务和动态网关。具备下列特点:

  1. 具备Nginx的完整功能
  2. 基于Lua语言进行扩展，集成了大量精良的Lua库，第三方模块
  3. 允许使用Lua自定义业务逻辑，自定义库

官方地址：https://openresty.org/cn/

  • 在linux下安装
  1. 安装OpenResty的依赖开发库
    yum install -y pcre-devel openssl-devel gcc --skip-broken
  2. 在centos中添加openresty仓库
    yum-config-manager --add-repo https://openresty.org/package/centos/openresty.repo
  3. 安装openResty
    yum install -y yum-utils
  4. 安装opm工具，是一个openresty的管理工具，可以帮助我们安装一个第三方的lua模块
    yum instally openrest -y -opm

默认情况下 openResty的安装目录是/usr/local/openresty
在这里插入图片描述
配置nginx环境变量
5. 打开配置文件vim /etc/profile
6. 在最下面添加
export NGINX_HOME=/usr/local/openresty/nginx
export PATH=${NGINX_HOME}/sbin:$PATH
7. 让配置生效
source /etc/profile
8. 启动nginx

# 启动nginx
nginx
# 重新加载配置
nginx -s reload
# 停止
nginx -s stop

在这里插入图片描述

OpenResty入门

这里由代理一个访问路径为例子:
在windows端的nginx中进行

  1. 在nginx.conf的http下面，添加对OpenResty的Lua模块的加载：
    在这里插入图片描述

  2. 在nginx.conf的server下面，添加对/api/item这个路径的监听：
    在这里插入图片描述

  3. Linux中niginx目录下创建lua文件夹，新建item.lua文件
    创建内容：
    在这里插入图片描述

  4. 重新加载配置
    nginx -s reload

OpenResty获取请求参数

OpenResty提供了各种API用来获取不同类型的参数：
在这里插入图片描述

OpenResty向tomcat服务器发送请求

nginx提供了内部API请求用以发送http请求：
在这里插入图片描述
返回的响应内容包括：
resp.status:响应状态码
resp.header:响应头，是一个table
resp.body：响应体，就是响应数据

注意：这里的path是路径，并不包含IP和端口，这个请求会被nginx内部的server监听并处理，可以使用反向代理
在这里插入图片描述

我们可以把http查询的请求封装到一个函数中，放到OpenResty函数库中，方便以后使用

  1. 创建文件/usr/local/openresty/lualib/common.lua
  2. 在文件中封装请求http查询的函数
    在这里插入图片描述
    如何使用这个封装函数，返回向tomcat请求的数据，在item.lua文件中
    在这里插入图片描述

注意：Openresty提供了一个cjson的模块用来处理JSON的序列化和反序列化
地址：https://github.com/openresty/lua-cjson/
如何使用：

  1. 引入json模块
    local cjson=require "cjson"
  2. 序列化：
    在这里插入图片描述
    反序列化：
    在这里插入图片描述

在nginx与tomcat端之间添加redis缓存

  • 冷启动和缓存预热

冷启动:服务刚刚启动时，Redis中并没有缓存，如果所有商品数据都在第一次查询时添加缓存，可能会给数据库带来较大压力。
缓存预热:在实际开发中，我们可以利用大数据统计用户访问的热点数据，在项目启动时将这些热点数据提前查询并保存到Redis中。

OpenResty提供了操作Redis的模块，只需要引入就能够使用
在这里插入图片描述
封装函数，用来释放Redis连接，放入连接池
在这里插入图片描述
封装函数，从Redis中读取数据并返回
在这里插入图片描述

Redis本地缓存

OpenResty为nginx提供了shard dict的功能，可以在nginx的多个worker之间共享数据，实现缓存功能

  1. 开启共享词典，在nginx.conf的http下添加配置：

在这里插入图片描述
2. 操作共享词典
在这里插入图片描述

缓存同步

缓存同步策略

设置有效期:给缓存设置有效期，到期后自动删除。再次查询时更新
优势:简单、方便
缺点:时效性差，缓存过期之前可能不一致
场景:更新频率较低，时效性要求低的业务
同步双写:在修改数据库的同时，直接修改缓存
优势:时效性强，缓存与数据库强一致
缺点:有代码侵入，耦合度高;
场景:对一致性、时效性要求较高的缓存数据
异步通知:修改数据库时发送事件通知，相关服务监听到通知后修改缓存数据
优势:低耦合，可以同时通知多个缓存服务
缺点:时效性一般，可能存在中间不一致状态
场景:时效性要求一般，有多个服务需要同步

基于Canal的异步通知

在这里插入图片描述

安装Canal

Canal是阿里巴巴旗下的开源项目，基于java开发，基于数据库增量日志解析，提供增量数据订阅&消费
地址：https://github.com/alibaba/canal

Canal是基于MySQL的主从同步来实现的，MySQL主从同步的原理如下：
在这里插入图片描述
MySOL master将数据变更写入二进制日志( binarylog)其中记录的数据叫binary log events
MySQLslave 将master的 binary log events拷贝到它的中继日志(relay log)
MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

Canal就是把自己伪装成MVSOL的一个slave节点，从而监听master的binarylog变化。再把得到的变化信息通知给Canal的客户端，进而完成对其它数据库的同步。

安装：

  1. 首先创建一个网络，将MySQL，Canal，MQ放在同一个Docker网络中：
    docker network create hhh
    让mysql加入这个网络
    docker network connect hhh mysql

  2. 将Canal镜像上传到虚拟机中，通过命令导入;
    docker load -i canal.tar

  3. 运行创建Canal容器
    docker run p 11111:11111 --name canal
    -e canal.destinations=hhh
    -e canal.instance.master.address=mysql:3306
    -e canal.instance.dbUsername=canal
    -e canal.instance.dbPassword=canal
    -e canal.instance.connectionCharset=UTF-8
    -e canal.instance.tsdb.enable=true
    -e canal.instance.gtidon=false
    -e canal.instance.filter.regex=hhh\…*
    –network hhh
    -d canal/canal-server:v1.1.5

Canal客户端

Canal提供了各种语言的客户端，当Canal监听到binlog变化时，会通知Canal的客户端。
第三方开源的canal-starter：地址:https://github.com/NormanGyllenhaal/canal-client

  1. 引入依赖

在这里插入图片描述
2. 编写配置

canal:
    destination: hhh #要跟canal运行时设置的destination一致
    server: 192.168.75.135:11111 #canal地址
  1. 编写监听器，监听canal消息
//Item是指定表的实体类
@CanalTable("表名")
@Component
public class ItemHandler implements EntryHandler<Item>{
   @Override
   public void insert(Item item){
   //新增数据到redis中
   //新增数据到JVM缓存
   }
   @Override
   public void update(Item before,Item after){
   //更新redis数据
   //更新本地缓存
   //更新数据到JVM缓存
   }
   @Override
   public void delete(Item item){
   //删除redis数据
   //清除本地缓存
   //从JVM中删除缓存
   }
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/583891.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

初探 JUC 并发编程：Java 并发包中并发 List 源码剖析

初探 JUC 并发编程：Java 并发包中并发 List 源码剖析

最近在阅读 《Java 并发编程之美》这本书&#xff0c;感觉学到了很多东西&#xff1b;所以我决定将从事书中学到的思想和一些经典的案例整理成博客的形式与大家分享和交流&#xff0c;如果对大家有帮助别忘了留下点赞和关注捏。 第五部分&#xff1a;Java 并发包中并发 List 源…
阅读更多...
STM32CubeMX+MDK通过I2S接口进行音频输入输出（全双工读写一个DMA回调）续-音质问题解决总结

STM32CubeMX+MDK通过I2S接口进行音频输入输出（全双工读写一个DMA回调）续-音质问题解决总结

一、前言 之前进行了STM32CubeMXMDK通过I2S接口进行音频输入输出&#xff08;全双工读写一个DMA回调&#xff09;的研究总结&#xff1a; https://juejin.cn/post/7339016190612881408#heading-34 后续音质问题解决了&#xff0c;目前测试下来48khz的双声道使用效果很好&…
阅读更多...
基于uniapp+微信小程序的智能停车场管理小程序，附源码

基于uniapp+微信小程序的智能停车场管理小程序，附源码

博主介绍&#xff1a;✌程序员徐师兄、7年大厂程序员经历。全网粉丝12w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末获取源码联系&#x1f345; &#x1f447;&#x1f3fb; 精彩专栏推荐订阅&#x1f447;…
阅读更多...
护航智慧交通安全 | 聚铭精彩亮相2024交通科技创新及信创产品推广交流会

护航智慧交通安全 | 聚铭精彩亮相2024交通科技创新及信创产品推广交流会

4月26日&#xff0c;石家庄希尔顿酒店内&#xff0c;河北省智能交通协会盛大举办2024年度交通科技创新及信创产品推广交流会。聚铭网络受邀参与&#xff0c;携旗下安全产品及解决方案精彩亮相&#xff0c;为智慧交通安全保驾护航。 为深化高速公路创新驱动发展战略&#xff0…
阅读更多...
Java网址url工具类

Java网址url工具类

功能描述 无需引入三方依赖文本匹配网址&#xff08;支持多个&#xff09;网址解析&#xff08;包括协议、主机、路径、参数等&#xff09; package com.qiangesoft.image.utils;import org.springframework.util.Assert; import org.springframework.util.CollectionUtils;i…
阅读更多...
深度学习基础之《TensorFlow框架（16）—神经网络案例》

深度学习基础之《TensorFlow框架（16）—神经网络案例》

一、mnist手写数字识别 1、数据集介绍 mnist数据集是一个经典的数据集&#xff0c;其中包括70000个样本&#xff0c;包括60000个训练样本和10000个测试样本 2、下载地址&#xff1a;http://yann.lecun.com/exdb/mnist/ 3、文件说明 train-images-idx3-ubyte.gz: training s…
阅读更多...
C#编程模式之装饰模式

C#编程模式之装饰模式

创作背景&#xff1a;朋友们&#xff0c;我们继续C#编程模式的学习&#xff0c;本文我们将一起探讨装饰模式。装饰模式也是一种结构型设计模式&#xff0c;它允许你通过在运行时向对象添加额外的功能&#xff0c;从而动态的修改对象的行为。装饰模式本质上还是继承的一种替换方…
阅读更多...
分享三款可以给pdf做批注的软件

分享三款可以给pdf做批注的软件

PDF文件不像Word一样可以直接编辑更改&#xff0c;想要在PDF文件上进行编辑批注需要用到一些专业的软件&#xff0c;我自己常用的有三款&#xff0c;全都是官方专业正版的软件&#xff0c;功能丰富强大&#xff0c;使用起来非常方便&#xff01; 1.edge浏览器 这个浏览器不仅可…
阅读更多...
爬虫实战-房天下（bengbu.zu.fang.com/）数据爬取

爬虫实战-房天下（bengbu.zu.fang.com/）数据爬取

详细代码链接https://flowus.cn/hbzx/3c42674d-8e6f-42e3-a3f6-bc1258034676 import requests from lxml import etree #xpath解析库 def 源代码(url): cookies { global_cookie: xeqnmumh38dvpj96uzseftwdr20lvkwkfb9, otherid: b44a1837638234f1a0a15e…
阅读更多...
JavaEE 初阶篇-深入了解特殊文件（Properties 属性文件、XML）

JavaEE 初阶篇-深入了解特殊文件（Properties 属性文件、XML）

&#x1f525;博客主页&#xff1a; 【小扳_-CSDN博客】 ❤感谢大家点赞&#x1f44d;收藏⭐评论✍ 文章目录 1.0 Properties 属性文件概述 1.1 Properties 属性文件特性与作用 1.2 使用 Properties 把键值对数据写出到属性文件中 1.3 使用 Properties 读取属性文件里的键值对数…
阅读更多...
《动手学深度学习（Pytorch版）》Task03：线性神经网络——4.29打卡

《动手学深度学习（Pytorch版）》Task03：线性神经网络——4.29打卡

《动手学深度学习&#xff08;Pytorch版&#xff09;》Task03&#xff1a;线性神经网络 线性回归基本元素线性模型损失函数随机梯度下降 正态分布与平方损失 线性回归的从零开始实现读取数据集初始化模型参数定义模型定义损失函数定义优化算法训练 线性回归的简洁实现读取数据集…
阅读更多...
c#创建新项目

c#创建新项目

确保已安装.NET Core SDK。&#xff08;visual studio installer中可安装&#xff09; cmd中先引用到文件夹目录下。 mkdir MyConsoleApp MyConsoleApp是项目文件夹的名字。 mkdir 是一个命令行工具&#xff0c;用于在文件系统中创建新的目录&#xff08;文件夹&#xff09;…
阅读更多...
用OpenCV先去除边框线，以提升OCR准确率

用OpenCV先去除边框线，以提升OCR准确率

在OpenCV的魔力下&#xff0c;我们如魔法师般巧妙地抹去表格的边框线&#xff0c;让文字如诗如画地跃然纸上。 首先&#xff0c;我们挥动魔杖&#xff0c;将五彩斑斓的图像转化为单一的灰度世界&#xff0c;如同将一幅绚丽的油画化为水墨画&#xff0c;通过cv2.cvtColor()函数的…
阅读更多...
主机ping不通虚拟机/虚拟机ping不通主机/xhell连接不了虚拟机/win10或win11系统升级导致无法连接到虚拟机

主机ping不通虚拟机/虚拟机ping不通主机/xhell连接不了虚拟机/win10或win11系统升级导致无法连接到虚拟机

解决方案 重置网卡 找虚拟机ip&#xff0c;第二个inet对应的就是虚拟机ip地址 xshell连接 参考: 主机ping不通虚拟机
阅读更多...
认识认识DHCP

认识认识DHCP

文章目录 认识认识DHCP一、什么是DHCP&#xff1f;1.1、为什么要使用DHCP&#xff1f;1.2、DHCP是怎么工作的&#xff1f;1.2.1、客户端首次接入网络的工作原理1.2.2、客户端重用曾经使用过的地址的工作原理1.2.3、客户端更新租期的工作原理 二、配置DHCP Server&#xff0c;为…
阅读更多...
电子式汽车机油压力传感器的接线方法及特点

电子式汽车机油压力传感器的接线方法及特点

电子式机油压力传感器由厚膜压力传感器芯片、信号处理电路、外壳、固定电路板装置和两根引线&#xff08;信号线和报警线&#xff09;组成。信号处理电路由电源电路、传感器补偿电路、调零电路、电压放大电路、电流放大电路、滤波电路和报警电路组成。 厚膜压力传感器是20世纪…
阅读更多...
【UE5】动态播放媒体

【UE5】动态播放媒体

最近项目中有一个需求&#xff0c;需要将场景中的42块屏幕都显示媒体内容&#xff0c;想着如果每一块屏幕都创建一个MediaPlayer资产、一个MediaSource资产、一个MediaTexture资产及创建对应的Material&#xff0c;就是4*42168个资产需要维护了&#xff0c;所以想着就全部采用动…
阅读更多...
如何看待Agent AI智能体的未来

如何看待Agent AI智能体的未来

Agent AI智能体的未来 Agent AI智能体&#xff0c;也称为自主代理或智能代理&#xff0c;是指能够自主执行任务、与环境交互并作出决策的计算机程序或系统。这些智能体通常具备学习、适应和推理的能力&#xff0c;能够在复杂和不确定的环境中执行任务。随着技术的进步&#xf…
阅读更多...
【OC和红移的双面材质】

【OC和红移的双面材质】

OC和红移的双面材质 2021-12-23 18:36 rs oc 评论(0)
阅读更多...
TiDB 利用binlog 恢复-反解析binlog

TiDB 利用binlog 恢复-反解析binlog

我们知道TiDB的binlog记录了所有已经执行成功的dml语句&#xff0c;类似mysql binlog row模式 &#xff0c;TiDB官方也提供了reparo可以进行解析binlog&#xff0c;如下所示: [2024/04/26 20:58:02.136 08:00] [INFO] [config.go:153] ["Parsed start TSO"] [ts449…
阅读更多...
最新文章

Copyright @ 2022~2023