多级缓存架构(三)OpenResty Lua缓存

文章目录

  • 一、nginx服务
  • 二、OpenResty服务
      • 1. 服务块定义
      • 2. 配置修改
      • 3. Lua程序编写
      • 4. 总结
  • 三、运行
  • 四、测试
  • 五、高可用集群
      • 1. openresty
      • 2. tomcat

通过本文章，可以完成多级缓存架构中的Lua缓存。
在这里插入图片描述
在这里插入图片描述

一、nginx服务

在docker/docker-compose.yml中添加nginx服务块。

  nginx:
    container_name: nginx
    image: nginx:stable
    volumes:
      - ./nginx/conf/nginx.conf:/etc/nginx/nginx.conf
      - ./nginx/conf/conf.d/default.conf:/etc/nginx/conf.d/default.conf
      - ./nginx/dist:/usr/share/nginx/dist
    ports:
      - "8080:8080"
    networks:
      multi-cache:
        ipv4_address: 172.30.3.3

删除原来docker里的multiCache项目并停止springboot应用。

nginx部分配置如下，监听端口为8080，并且将请求反向代理至172.30.3.11，下一小节，将openresty固定在172.30.3.11。

upstream nginx-cluster {
    server 172.30.3.11;
}

server {
    listen       8080;
    listen  [::]:8080;
    server_name  localhost;

    location /api {
        proxy_pass http://nginx-cluster;
    }
}

重新启动multiCache看看nginx前端网页效果。

docker-compose -p multi-cache up -d

访问http://localhost:8080/item.html?id=10001查询id=10001商品页
在这里插入图片描述
这里是假数据，前端页面会向/api/item/10001发送数据请求。

二、OpenResty服务

1. 服务块定义

在docker/docker-compose.yml中添加openresty1服务块。

  openresty1:
    container_name: openresty1
    image: openresty/openresty:1.21.4.3-3-jammy-amd64
    volumes:
      - ./openresty1/conf/nginx.conf:/usr/local/openresty/nginx/conf/nginx.conf
      - ./openresty1/conf/conf.d/default.conf:/etc/nginx/conf.d/default.conf
      - ./openresty1/lua:/usr/local/openresty/nginx/lua
      - ./openresty1/lualib/common.lua:/usr/local/openresty/lualib/common.lua
    networks:
      multi-cache:
        ipv4_address: 172.30.3.11

2. 配置修改

前端向后端发送/api/item/10001请求关于id=10001商品信息。

根据nginx的配置内容，这个请求首先被nginx拦截，反向代理到172.30.3.11 （即openresty1）。

upstream nginx-cluster {
    server 172.30.3.11;
}

server {
    location /api {
        proxy_pass http://nginx-cluster;
    }
}

openresty1收到的也是/api/item/10001，同时，openresty将/api/item/(\d+)请求代理到指定lua程序，在lua程序中完成数据缓存。
在这里插入图片描述
因此，openresty的conf/conf.d/default.conf如下

upstream tomcat-cluster {
    hash $request_uri;
    server 172.30.3.4:8081;
#     server 172.30.3.5:8081;
}

server {
    listen       80;
    listen  [::]:80;
    server_name  localhost;

    # intercept /item and join lua
    location ~ /api/item/(\d+) {
        default_type application/json;
        content_by_lua_file lua/item.lua;
    }

    # intercept lua and redirect to back-end
    location /path/ {
        rewrite ^/path/(.*)$ /$1 break;
        proxy_pass http://tomcat-cluster;
    }

    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /usr/share/nginx/dist;
    }
}

conf/nginx.conf在http块最后添加3行，引入依赖。

    #lua 模块
    lua_package_path "/usr/local/openresty/lualib/?.lua;;";
    #c模块
    lua_package_cpath "/usr/local/openresty/lualib/?.so;;";
    #本地缓存
    lua_shared_dict item_cache 150m;

3. Lua程序编写

common.lua被挂载到lualib，表示可以被其他lua当做库使用，内容如下

-- 创建一个本地缓存对象item_cache
local item_cache = ngx.shared.item_cache;

-- 函数，向openresty本身发送类似/path/item/10001请求，根据conf配置，将被删除/path前缀并代理至tomcat程序
local function read_get(path, params)
    local rsp = ngx.location.capture('/path'..path,{
        method = ngx.HTTP_GET,
        args = params,
    })
    if not rsp then
        ngx.log(ngx.ERR, "http not found, path: ", path, ", args: ", params);
        ngx.exit(404)
    end
    return rsp.body
end

-- 函数，如果本地有缓存，使用缓存，如果没有代理到tomcat然后将数据存入缓存
local function read_data(key, expire, path, params)
    -- query local cache
    local rsp = item_cache:get(key)
    -- query tomcat
    if not rsp then
        ngx.log(ngx.ERR, "redis cache miss, try tomcat, key: ", key)
        rsp = read_get(path, params)
    end
    -- write into local cache
    item_cache:set(key, rsp, expire)
    return rsp
end

local _M = {
    read_data = read_data
}

return _M

item.lua是处理来自形如/api/item/10001请求的程序，内容如下

-- include
local commonUtils = require('common')
local cjson = require("cjson")

-- get url params 10001
local id = ngx.var[1]
-- redirect item, 缓存过期时间1800s, 适合长时间不改变的数据
local itemJson = commonUtils.read_data("item:id:"..id, 1800,"/item/"..id,nil)
-- redirect item/stock, 缓存过期时间4s, 适合经常改变的数据
local stockJson = commonUtils.read_data("item:stock:id:"..id, 4 ,"/item/stock/"..id, nil)
-- json2table
local item = cjson.decode(itemJson)
local stock = cjson.decode(stockJson)
-- combine item and stock
item.stock = stock.stock
item.sold = stock.sold
-- return result
ngx.say(cjson.encode(item))

4. 总结

  1. 这里lua对item(tb_item表)和stock(tb_stock表)两个信息都有缓存，并使用cjson库将两者合并后返回到前端。
  2. 关于expire时效性的问题，如果后台改变了数据，但是openresty关于此数据的缓存未过期，前端得到的是旧数据。
  3. 大致来说openresty = nginx + lua，不仅具有nginx反向代理的能力，还能介入lua程序进行扩展。

三、运行

到此为止，docker-compose.yml应该如下

version: '3.8'

networks:
  multi-cache:
    driver: bridge
    ipam:
      driver: default
      config:
        - subnet: 172.30.3.0/24

services:
  mysql:
    container_name: mysql
    image: mysql:8
    volumes:
      - ./mysql/conf/my.cnf:/etc/mysql/conf.d/my.cnf
      - ./mysql/data:/var/lib/mysql
      - ./mysql/logs:/logs
    ports:
      - "3306:3306"
    environment:
      - MYSQL_ROOT_PASSWORD=1009
    networks:
      multi-cache:
        ipv4_address: 172.30.3.2

  nginx:
    container_name: nginx
    image: nginx:stable
    volumes:
      - ./nginx/conf/nginx.conf:/etc/nginx/nginx.conf
      - ./nginx/conf/conf.d/default.conf:/etc/nginx/conf.d/default.conf
      - ./nginx/dist:/usr/share/nginx/dist
    ports:
      - "8080:8080"
    networks:
      multi-cache:
        ipv4_address: 172.30.3.3

  openresty1:
    container_name: openresty1
    image: openresty/openresty:1.21.4.3-3-jammy-amd64
    volumes:
      - ./openresty1/conf/nginx.conf:/usr/local/openresty/nginx/conf/nginx.conf
      - ./openresty1/conf/conf.d/default.conf:/etc/nginx/conf.d/default.conf
      - ./openresty1/lua:/usr/local/openresty/nginx/lua
      - ./openresty1/lualib/common.lua:/usr/local/openresty/lualib/common.lua
    networks:
      multi-cache:
        ipv4_address: 172.30.3.11

启动各项服务

docker-compose -p multi-cache up -d

启动springboot程序。
在这里插入图片描述

四、测试

清空openresty容器日志。
访问http://localhost:8080/item.html?id=10001
查看openresty容器日志，可以看到两次commonUtils.read_data都没有缓存，于是代理到tomcat，可以看到springboot日志出现查询相关记录。

2024-01-12 11:45:53 2024/01/12 03:45:53 [error] 7#7: *1 [lua] common.lua:99: read_data(): redis cache miss, try tomcat, key: item:id:10001, client: 172.30.3.3, server: localhost, request: "GET /api/item/10001 HTTP/1.0", host: "nginx-cluster", referrer: "http://localhost:8080/item.html?id=10001"
2024-01-12 11:45:53 2024/01/12 03:45:53 [error] 7#7: *1 [lua] common.lua:99: read_data(): redis cache miss, try tomcat, key: item:stock:id:10001 while sending to client, client: 172.30.3.3, server: localhost, request: "GET /api/item/10001 HTTP/1.0", host: "nginx-cluster", referrer: "http://localhost:8080/item.html?id=10001"
2024-01-12 11:45:53 172.30.3.3 - - [12/Jan/2024:03:45:53 +0000] "GET /api/item/10001 HTTP/1.0" 200 486 "http://localhost:8080/item.html?id=10001" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36 Edg/121.0.0.0"

再次访问此网址，强制刷新+禁用浏览器缓存+更换浏览器
间隔超过4s但小于1800s时，日志如下，只出现一次miss。

2024-01-12 11:48:04 2024/01/12 03:48:04 [error] 7#7: *4 [lua] common.lua:99: read_data(): redis cache miss, try tomcat, key: item:stock:id:10001, client: 172.30.3.3, server: localhost, request: "GET /api/item/10001 HTTP/1.0", host: "nginx-cluster", referrer: "http://localhost:8080/item.html?id=10001"
2024-01-12 11:48:04 172.30.3.3 - - [12/Jan/2024:03:48:04 +0000] "GET /api/item/10001 HTTP/1.0" 200 486 "http://localhost:8080/item.html?id=10001" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36 Edg/121.0.0.0"

再次访问此网址，强制刷新+禁用浏览器缓存+更换浏览器
间隔小于4s，日志如下，未出现miss。

2024-01-12 11:49:16 172.30.3.3 - - [12/Jan/2024:03:49:16 +0000] "GET /api/item/10001 HTTP/1.0" 200 486 "http://localhost:8080/item.html?id=10001" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/121.0.0.0 Safari/537.36 Edg/121.0.0.0"

五、高可用集群

1. openresty

在这里插入图片描述
对于openresty高可用，可以部署多个openresty docker实例，并在nginx的docker/nginx/conf/conf.d/default.conf的upstream nginx-cluster将多个openresty地址添加进去即可。比如

upstream nginx-cluster {
	hash $request_uri;
	# hash $request_uri consistent;
    server 172.30.3.11;
    server 172.30.3.12;
    server 172.30.3.13;
}

多个openresty 无论是conf还是lua都保持一致即可。
并且使用hash $request_uri负载均衡作为反向代理策略，防止同一请求被多个实例缓存数据。

2. tomcat

在这里插入图片描述
对于springboot程序高可用，也是类似。可以部署多个springboot docker实例，并在openresty 的docker/openresty1/conf/conf.d/default.conf的upstream nginx-cluster将多个springboot地址添加进去即可。比如

upstream tomcat-cluster {
    hash $request_uri;
    server 172.30.3.4:8081;
    server 172.30.3.5:8081;
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/325765.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

全光谱护眼灯有哪些？寒假护眼台灯推荐

全光谱护眼灯有哪些？寒假护眼台灯推荐

全光谱指的是包含了整个可见光谱范围以及部分红外和紫外光的光线。通常的白炽灯或荧光灯只能发出有限范围内的光波，而全光谱台灯通过使用多种类型的LED灯或荧光灯管来产生更广泛的光谱。这样的光谱更接近自然光，能够提供更真实的颜色还原和更好的照明效果…
阅读更多...
Spring Cloud微服务基础入门

Spring Cloud微服务基础入门

文章目录 发现宝藏前言环境准备创建第一个微服务1. 创建Spring Boot项目2. 创建微服务模块3. 编写微服务代码4. 创建一个简单的REST控制器 运行微服务 总结好书推荐 发现宝藏 前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不…
阅读更多...
懒得玩游戏--帮我做数独

懒得玩游戏--帮我做数独

目录 简介自动解数独思路核心思路输入解析打印 完整代码 简介 最近玩上了一款类似于数独的微信小程序游戏，名字叫数独趣味闯关，过了数独的关卡之后会给拼图，玩了几关之后摸清套路了就有点累了，但是还想集齐拼图，所以就…
阅读更多...
为什么使用 atan2(sin(z), cos(z)) 进行角度归一化？

为什么使用 atan2(sin(z), cos(z)) 进行角度归一化？

文章目录 为什么使用 atan2(sin(z), cos(z)) 进行归一化？为什么归一化后的角度等于原始角度？ atan2 方法返回 -π 到 π 之间的值，代表点 (x, y) 相对于正X轴的偏移角度。这个角度是逆时针测量的，以弧度为单位。关于 atan2 函数为…
阅读更多...
【第十四课】并查集(acwing-836合并集合 / 做题思路 /c++代码)

【第十四课】并查集(acwing-836合并集合 / 做题思路 /c++代码)

目录 错误思路(但能骗分emm)--邻接矩阵(可以跳过) 思路 存在的问题 代码如下 并查集 思路 代码如下 一些解释 错误思路(但能骗分emm)--邻接矩阵(可以跳过) 思路 刚看到这道题我自己做的时候，因为之前学的trie树的时候意识到使用二维数组的含义，…
阅读更多...
群发邮件的免费软件？做外贸用什么邮箱好？

群发邮件的免费软件？做外贸用什么邮箱好？

群发邮件的免费软件有哪些？好用的邮件群发软件？ 在数字时代，邮件已成为人们沟通的主要方式之一。有时候，我们需要给大量的联系人发送信息，这时候，群发邮件就显得格外重要。接下来蜂邮就来探讨一下那些值得…
阅读更多...
初学者必知的微软.NET6开发环境相关技术介绍

初学者必知的微软.NET6开发环境相关技术介绍

我是荔园微风，作为一名在IT界整整25年的老兵，看到不少初学者在学习编程语言的过程中如此的痛苦，我决定做点什么，我小时候喜欢看小人书（连环画），在那个没有电视、没有手机的年代，这是…
阅读更多...
[我的rust付费栏目]rust跟我学(一)已上线

[我的rust付费栏目]rust跟我学(一)已上线

大家好，我是开源库get_local_info的作者带剑书生，get_local_info诞生半个月，现在已经获得500的下载量，并获社区日更前五名，后被西安城市开发者社区收录（【我的Rust库】get_local_info 0.1.5发布_rust_科比布…
阅读更多...
ChatGPT：人工智能划时代的标志（文末送书）

ChatGPT：人工智能划时代的标志（文末送书）

🌈个人主页：聆风吟 🔥系列专栏：网络奇遇记、数据结构 🔖少年有梦不应止于心动，更要付诸行动。 文章目录 一. 什么是ChatGPT?二. ChatGPT是如何工作的？三. ChatGPT的应用领域四. ChatGPT的优缺点…
阅读更多...
自创C++题目——风扇

自创C++题目——风扇

预估难度 简单 题目描述 有一个风扇，它有个旋转叶片，每个旋转叶片的编号是，请输出它旋转后，中心点与地面的直线距离哪个叶片最近，输出此旋转叶片的编号。默认以“”的形式。 当时： 当或时，…
阅读更多...
运筹说 第46期 | 目标规划-数学模型

运筹说 第46期 | 目标规划-数学模型

经过前几期的学习，想必大家已经对线性规划问题有了详细的了解，但线性规划作为一种决策工具，在解决实际问题时，存在着一定的局限性：(1)线性规划只能处理一个目标，而现实问题往往存在多个目标；(2)…
阅读更多...
vtk9.3 配置 visual studio 2019 运行环境 和运行实例详解

vtk9.3 配置 visual studio 2019 运行环境 和运行实例详解

（1）包含文件配置： 项目--属性--VC目录，在包含目录中把include文件夹的地址加进去，一直要到下一级 vtk-9.3目录下， 小知识： 在Visual Studio 2019中运行项目时，如果项目中使用了第三…
阅读更多...
CTF CRYPTO 密码学-2

CTF CRYPTO 密码学-2

题目名称：enc 题目描述： 字符 ZZZZ X XXZ ZZ ZXZ Z ZXZ ZX ZZX XXX XZXX XXZ ZX ZXZZ ZZXZ XX ZX ZZ 分析 此字段是由Z和X组成的字符，联想到莫斯密码是由.和-组成的所以接下来可以尝试莫斯密码解题 解题过程： Step1：…
阅读更多...
济南元宇宙赋能新型工业化，助力工业制造业高质量发展

济南元宇宙赋能新型工业化，助力工业制造业高质量发展

济南工业元宇宙赋能新型工业化，助力工业制造业高质量发展。随着科技的不断发展，新型工业化已成为推动经济发展的重要力量。济南市作为山东省的省会城市，拥有得天独厚的地理优势和资源优势，积极布局工业元宇宙领域，赋能…
阅读更多...
12.云原生之kubesphere中应用部署方式

12.云原生之kubesphere中应用部署方式

云原生专栏大纲 文章目录 k8s中应用部署Kubernetes常用命令 kubesphere中可视化部署应用创建工作负载服务暴露 helm部署应用helm命令行部署应用kubesphere中使用应用仓库 k8s中应用部署 在k8s中要想部署应用，需要编写各种yaml文件，一旦应用依赖比较复杂…
阅读更多...
36V/1.6A两通道H桥驱动芯片-SS8812T可替代DRV8812

36V/1.6A两通道H桥驱动芯片-SS8812T可替代DRV8812

由工采网代理的SS8812T是一款双通道H桥电流控制电机驱动器；每个 H 桥可提供输出电流 1.6A，可驱动两个刷式直流电机，或者一个双极步进电机，或者螺线管或者其它感性负载；双极步进电机可以以整步、2 细分、4 细分运行&…
阅读更多...
yarn包管理器在添加、更新、删除模块时，在项目中是如何体现的

yarn包管理器在添加、更新、删除模块时，在项目中是如何体现的

技术很久不用，就变得生疏起来。对npm深受其害，决定对yarn再整理一遍。 yarn包管理器 介绍安装yarn帮助信息最常用命令 介绍 yarn官网：https://yarn.bootcss.com，学任何技术的最新知识，都可以通过其对应的网站了解。无…
阅读更多...
Docker部署Jira、Confluence、Bitbucket、Bamboo、Crowd，Atlassian全家桶

Docker部署Jira、Confluence、Bitbucket、Bamboo、Crowd，Atlassian全家桶

文章目录 省流：注意：解决方案： 1.docker-compose文件2.其他服务都正常启动，唯独Bitbucket不行。日志错误刚启动时候重启后查询分析原因再针对第一点排查看样子是安装的bitbucket和系统环境有冲突问题？ 结论&#xff1a…
阅读更多...
晶圆表面缺陷检测现状概述

晶圆表面缺陷检测现状概述

背景： 晶圆表面缺陷检测设备主要检测晶圆外观呈现出来的缺陷，损伤、毛刺等缺陷，主要设备供应商KLA，AMAT，日立等，其中KLA在晶圆表面检测设备占有市场52%左右。 检测设备分类： 电子束设备和光学…
阅读更多...
MAC iterm 显示git分支名

MAC iterm 显示git分支名

要在Mac上的iTerm中显示Git分支名，您需要使用一个名为“Oh My Zsh”的插件。Oh My Zsh是一个流行的Zsh框架，它提供了许多有用的功能和插件，包括在终端中显示Git分支名。 以下是在iTerm中显示Git分支名的步骤： 1、安装Oh My Zsh&…
阅读更多...
最新文章

Copyright @ 2022~2023