【实战】Nginx+Lua脚本+Redis 实现自动封禁访问频率过高IP

大家好，我是冰河~~

自己搭建的网站刚上线，短信接口就被一直攻击，并且攻击者不停变换IP，导致阿里云短信平台上的短信被恶意刷取了几千条，加上最近工作比较忙，就直接在OpenResty上对短信接口做了一些限制，采用OpenResty+Lua的方案成功动态封禁了频繁刷短信接口的IP。

一、临时解决方案

由于事情比较紧急，所以，当发现这个问题时，就先采用快速的临时方案解决。

（1）查看Nginx日志发现被攻击的IP 和接口

[root@binghe ~]# tail -f /var/log/nginx/access.log

发现攻击者一直在用POST请求 /fhtowers/user/getVerificationCode这个接口

在这里插入图片描述

（2）用awk和grep脚本过滤nginx日志，提取攻击短信接口的ip（一般这个接口是用来发注册验证码的，一分钟如果大于10次请求的话就不是正常的访问请求了，大家根据自己的实际情况更改脚本）并放到一个txt文件中去，然后重启nginx

[root@binghe ~]# cat denyip.sh
#!/bin/bash
nginx_home=/usr/local/openresty/nginx
log_path=/var/log/nginx/access.log
tail -n5000 $log_path | grep  getVerification | awk '{print $1}' |sort | uniq -c | sort -nr -k1 | head -n 100 |awk '{if($1>10)print ""$2""}' >$nginx_home/denyip/blocksip.txt
/usr/bin/nginx -s reload

（3）设置Nginx去读取用脚本过滤出来的blocksip.txt（注意一下，我这里的Nginx是用的openresty，自带识别lua语法的，下面会有讲openresty的用法）

location =  /fhtowers/user/getVerificationCode {  #短信接口
access_by_lua '
   local f = io.open("/usr/local/openresty/nginx/denyip/blocksip.txt")   #黑名单列表
   for line in f:lines() do
		  if ngx.var.http_x_forwarded_for == line then   #如果ip在黑名单列表里直接返回403
				 ngx.exit(ngx.HTTP_FORBIDDEN)
		  end
  end
 ';
 proxy_pass http://appservers;   #不在名单里就转发给后台的tomcat服务器
}

（4）把过滤脚本放进crontab任务里，一分钟执行一次

[root@binghe ~]# crontab -e
*/1 * * * * sh /root/denyip.sh

（5）查看一下效果，发现攻击者的请求都被返回403并拒绝了

在这里插入图片描述

二、OpenResty+Lua方案

临时方案有效果后，再将其调整成使用OpenResty+Lua脚本的方案，来一张草图。

在这里插入图片描述

接下来，就是基于OpenResty和Redis实现自动封禁访问频率过高的IP。

2.1 安装OpenResty

安装使用 OpenResty，这是一个集成了各种 Lua 模块的 Nginx 服务器，是一个以Nginx为核心同时包含很多第三方模块的Web应用服务器，使用Nginx的同时又能使用lua等模块实现复杂的控制。

（1）安装编译工具、依赖库

[root@test1 ~]# yum -y install readline-devel pcre-devel openssl-devel gcc

（2）下载openresty-1.13.6.1.tar.gz 源码包，并解压；下载ngx_cache_purge模块，该模块用于清理nginx缓存；下载nginx_upstream_check_module模块，该模块用于ustream健康检查。

[root@test1 ~]# cd /usr/local/
[root@test1 local]# wget https://openresty.org/download/openresty-1.13.6.1.tar.gz
[root@test1 local]# tar -zxvf openresty-1.13.6.1.tar.gz
[root@test1 local]# cd openresty-1.13.6.1/bundle
[root@test1 local]# wget http://labs.frickle.com/files/ngx_cache_purge-2.3.tar.gz
[root@test1 local]# tar -zxvf ngx_cache_purge-2.3.tar.gz
[root@test1 local]# wget https://github.com/yaoweibin/nginx_upstream_check_module/archive/v0.3.0.tar.gz
[root@test1 local]# tar -zxvf v0.3.0.tar.gz

（3）配置需安装的模块

# ./configure --help可查询需要安装的模块并编译安装
[root@test1 openresty-1.13.6.1]# ./configure --prefix=/usr/local/openresty --with-luajit --with-http_ssl_module --user=root --group=root --with-http_realip_module --add-module=./bundle/ngx_cache_purge-2.3/ --add-module=./bundle/nginx_upstream_check_module-0.3.0/ --with-http_stub_status_module 
[root@test1 openresty-1.13.6.1]# make && make install

（4）创建一个软链接方便启动停止

[root@test1 ~]# ln -s /usr/local/openresty/nginx/sbin/nginx   /bin/nginx

（5）启动nginx

[root@test1 ~]# nginx  #启动
[root@test1 ~]# nginx  -s reload   #reload配置

如果启动时候报错找不到PID的话就用以下命令解决（如果没有更改过目录的话，让它去读nginx的配置文件就好了）

[root@test1 ~]# /usr/local/openresty/nginx/sbin/nginx  -c /usr/local/openresty/nginx/conf/nginx.conf

在这里插入图片描述

随后，打开浏览器访问页面。

在这里插入图片描述

（6）在Nginx上测试一下能否使用Lua脚本

[root@test1 ~]# vim /usr/local/openresty/nginx/conf/nginx.conf

在server里面加一个

location /lua {
	default_type text/plain;
	content_by_lua ‘ngx.say(“hello,lua!”)’;
}

在这里插入图片描述

加完后重新reload配置。

[root@test1 ~]# nginx  -s reload

在浏览器里输入 ip地址/lua，出现下面的字就表示Nginx能够成功使用lua了

在这里插入图片描述

2.2 安装Redis

（1）下载、解压、编译安装

[root@test1 ~]# cd /usr/local/
[root@test1 local]# wget http://download.redis.io/releases/redis-6.0.1.tar.gz
[root@test1 local]# tar -zxvf redis-6.0.1.tar.gz
[root@test1 local]# cd redis-6.0.1
[root@test1 redis-6.0.1]# make
[root@test1 redis-6.0.1]# make install

（2）查看是否安装成功

[root@test1 redis-6.0.1]# ls -lh /usr/local/bin/
[root@test1 redis-6.0.1]# redis-server -v
Redis server v=3.2.5 sha=00000000:0 malloc=jemalloc-4.0.3 bits=64 build=dae2abf3793b309d

（3）配置redis 创建dump file、进程pid、log目录

[root@test1 redis-6.0.1]# cd /etc/
[root@test1 etc]# mkdir redis
[root@test1 etc]# cd /var/
[root@test1 var]# mkdir redis
[root@test1 var]# cd redis/
[root@test1 redis]# mkdir  data log  run

（4）修改配置文件

[root@test1 redis]# cd /usr/local/redis-6.0.1/
[root@test1 redis-6.0.1]# cp redis.conf /etc/redis/6379.conf
[root@test1 redis-6.0.1]# vim /etc/redis/6379.conf
#绑定的主机地址
bind 192.168.1.222
#端口
port 6379
#认证密码（方便测试不设密码，注释掉）
#requirepass 
#pid目录
pidfile /var/redis/run/redis_6379.pid
#log存储目录
logfile /var/redis/log/redis.log
#dump目录
dir /var/redis/data
#Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程
daemonize yes

（5）设置启动方式

[root@test1 redis-6.0.1]# cd /usr/local/redis-6.0.1/utils/
[root@test1 utils]# cp redis_init_script /etc/init.d/redis
[root@test1 utils]# vim /etc/init.d/redis   #根据自己实际情况修改

/etc/init.d/redis文件的内容如下。

#!/bin/sh
#
# Simple Redis init.d script conceived to work on Linux systems
# as it does use of the /proc filesystem.

REDISPORT=6379
EXEC=/usr/local/bin/redis-server
CLIEXEC=/usr/local/bin/redis-cli

PIDFILE=/var/run/redis_${REDISPORT}.pid
CONF="/etc/redis/${REDISPORT}.conf"

case "$1" in
    start)
        if [ -f $PIDFILE ]
        then
                echo "$PIDFILE exists, process is already running or crashed"
        else
                echo "Starting Redis server..."
                $EXEC $CONF
        fi
        ;;
    stop)
        if [ ! -f $PIDFILE ]
        then
                echo "$PIDFILE does not exist, process is not running"
        else
                PID=$(cat $PIDFILE)
                echo "Stopping ..."
                $CLIEXEC -p $REDISPORT shutdown
                while [ -x /proc/${PID} ]
                do
                    echo "Waiting for Redis to shutdown ..."
                    sleep 1
                done
                echo "Redis stopped"
        fi
        ;;
    *)
        echo "Please use start or stop as first argument"
        ;;
esac

增加执行权限，并启动Redis。

[root@test1 utils]# chmod a+x /etc/init.d/redis   #增加执行权限
[root@test1 utils]# service redis start     #启动redis

（6）查看redis是否启动

在这里插入图片描述

2.3 Lua访问Redis

（1）连接redis，然后添加一些测试参数

[root@test1 utils]# redis-cli -h 192.168.1.222 -p 6379
192.168.1.222:6379> set "123" "456"
OK

（2）编写连接Redis的Lua脚本

[root@test1 utils]# vim /usr/local/openresty/nginx/conf/lua/redis.lua
local redis = require "resty.redis"
local conn = redis.new()
conn.connect(conn, '192.168.1.222', '6379')     #根据自己情况写ip和端口号 
local res = conn:get("123")
if res==ngx.null then
    ngx.say("redis集群中不存在KEY——'123'")
    return
end
ngx.say(res)

（3）在nginx.conf配置文件中的server下添加以下location

[root@test1 utils]# vim /usr/local/openresty/nginx/conf/nginx.conf
location /lua_redis {
	default_type text/plain;
	content_by_lua_file /usr/local/openresty/nginx/conf/lua/redis.lua;
}

随后重新reload配置。

[root@test1 utils]# nginx  -s reload   #重启一下Nginx

（4）验证Lua访问Redis的正确性

在浏览器输入ip/lua_redis， 如果能看到下图的内容表示Lua可以访问Redis。

在这里插入图片描述

准备工作已经完成，现在要实现OpenResty+Lua+Redis自动封禁并解封IP了。3.4

2.4 OpenResty+Lua实现

（1）添加访问控制的Lua脚本（只需要修改Lua脚本中连接Redis的IP和端口即可）

ok, err = conn:connect(“192.168.1.222”, 6379)

注意：如果在Nginx或者OpenResty的上层有用到阿里云的SLB负载均衡的话，需要修改一下脚本里的所有…ngx.var.remote_addr，把remote_addr替换成从SLB获取真实IP的字段即可，不然获取到的IP全都是阿里云SLB发过来的并且是处理过的IP，同时，这些IP全都是一个网段的，根本没有办法起到封禁的效果）。

完整的Lua脚本如下所示。

[root@test1 lua]# vim /usr/local/openresty/nginx/conf/lua/access.lua
local ip_block_time=300 --封禁IP时间（秒）
local ip_time_out=30    --指定ip访问频率时间段（秒）
local ip_max_count=20 --指定ip访问频率计数最大值（秒）
local BUSINESS = ngx.var.business --nginx的location中定义的业务标识符，也可以不加，不过加了后方便区分

--连接redis
local redis = require "resty.redis"  
local conn = redis:new()  
ok, err = conn:connect("192.168.1.222", 6379)  
conn:set_timeout(2000) --超时时间2秒

--如果连接失败，跳转到脚本结尾
if not ok then
    goto FLAG
end

--查询ip是否被禁止访问，如果存在则返回403错误代码
is_block, err = conn:get(BUSINESS.."-BLOCK-"..ngx.var.remote_addr)  
if is_block == '1' then
    ngx.exit(403)
    goto FLAG
end

--查询redis中保存的ip的计数器
ip_count, err = conn:get(BUSINESS.."-COUNT-"..ngx.var.remote_addr)

if ip_count == ngx.null then --如果不存在，则将该IP存入redis，并将计数器设置为1、该KEY的超时时间为ip_time_out
    res, err = conn:set(BUSINESS.."-COUNT-"..ngx.var.remote_addr, 1)
	res, err = conn:expire(BUSINESS.."-COUNT-"..ngx.var.remote_addr, ip_time_out)
else
    ip_count = ip_count + 1 --存在则将单位时间内的访问次数加1
  
    if ip_count >= ip_max_count then --如果超过单位时间限制的访问次数，则添加限制访问标识，限制时间为ip_block_time
        res, err = conn:set(BUSINESS.."-BLOCK-"..ngx.var.remote_addr, 1)
        res, err = conn:expire(BUSINESS.."-BLOCK-"..ngx.var.remote_addr, ip_block_time)
	else
        res, err = conn:set(BUSINESS.."-COUNT-"..ngx.var.remote_addr,ip_count)
		res, err = conn:expire(BUSINESS.."-COUNT-"..ngx.var.remote_addr, ip_time_out)
    end
end

-- 结束标记
::FLAG::
local ok, err = conn:close()

（2）在需要做访问限制的location里加两段代码即可，这里用刚才的/lua做演示

[root@test1 lua]# vim /usr/local/openresty/nginx/conf/nginx.conf

在这里插入图片描述

主要是添加如下配置。

access_by_lua_file /usr/local/openresty/nginx/conf/lua/access.lua;

其中，set $business “lua” 是为了把IP放进Redis的时候标明是哪个location的，可以不加这个配置。

随后，重新reload配置。

[root@test1 lua]# nginx -s reload #修改完后重启nginx

（3）打开浏览器访问192.168.1.222/lua 并一直按F5刷新。

在这里插入图片描述

随后，连接Redis，查看IP的访问计数。

[root@test1 ~]# redis-cli -h 192.168.1.222 -p 6379

发现redis已经在统计访问lua这个网页ip的访问次数了

在这里插入图片描述

这个key的过期时间是30秒，如果30秒没有重复访问20次这个key就会消失，所以说正常用户一般不会触发这个封禁的脚本。

在这里插入图片描述

当30秒内访问超过了20次，发现触发脚本了，变成了403

在这里插入图片描述

再次查看Redis的key，发现多了一个lua-block-192.168.1.158，过期时间是300秒,就是说在300秒内这个ip无法继续访问192.168.1.222/lua这个页面了。

在这里插入图片描述

过五分钟后再去访问这个页面，又可以访问了。

在这里插入图片描述

这个脚本的目的很简单：一个IP如果在30秒内其访问次数达到20次则表明该IP访问频率太快了，因此将该IP封禁5分钟。同时由于计数的KEY在Redis中的超时时间设置成了30秒，所以如果两次访问间隔时间大于30秒将会重新开始计数。

大家也可以将这个脚本优化成，第一次封禁5分钟，第二次封禁半小时，第三次封禁半天，第四次封禁三天，第五次永久封禁等等。

好了，今天就到这儿吧，我是冰河，我们下期见~~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/890350.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

《Linux运维总结：基于ARM64+X86_64架构CPU使用docker-compose一键离线部署mongodb 7.0.14容器版分片集群》

《Linux运维总结：基于ARM64+X86_64架构CPU使用docker-compose一键离线部署mongodb 7.0.14容器版分片集群》

总结：整理不易，如果对你有帮助，可否点赞关注一下？ 更多详细内容请参考：《Linux运维篇：Linux系统运维指南》 一、部署背景 由于业务系统的特殊性，我们需要面向不通的客户安装我们的业务系统&…
阅读更多...
C++入门基础知识110—【关于C++ if...else 语句】

C++入门基础知识110—【关于C++ if...else 语句】

成长路上不孤单😊😊😊😊😊😊 【14后😊///C爱好者😊///持续分享所学😊///如有需要欢迎收藏转发///😊】 今日分享关于C if...else 语句的相关内容&#xff01…
阅读更多...
数据结构-5.2.树的性质

数据结构-5.2.树的性质

一.树的常考性质： 性质1：结点数 总度数 1(结点的度：结点分支的数量) 一个分支中，如父结点B，两个子结点为E和F，结点B的度的值为2，等于子结点数量，加上这一个父结点(父结点只能有一…
阅读更多...
部署私有仓库以及docker web ui应用

部署私有仓库以及docker web ui应用

官方地址：https://hub.docker.com/_/registry/tags 一、拉取registry私有仓库镜像 docker pull registry:latest 二、运⾏容器 docker run -itd -v /home/dockerdata/registry:/var/lib/registry --name "pri_registry1" --restartalways -p 5000:5000 …
阅读更多...
数据结构-5.5.二叉树的存储结构

数据结构-5.5.二叉树的存储结构

一.二叉树的顺序存储： a.完全二叉树： 1.顺序存储中利用了静态数组，空间大小有限： 2.基本操作： (i是结点编号) 1.上述图片中i所在的层次后面的公式应该把n换成i(图片里写错了)； 2.上述图片判断i是否有左…
阅读更多...
ClickHouse的原理及使用,

ClickHouse的原理及使用,

1、前言 一款MPP查询分析型数据库——ClickHouse。它是一个开源的，面向列的分析数据库，由Yandex为OLAP和大数据用例创建。ClickHouse对实时查询处理的支持使其适用于需要亚秒级分析结果的应用程序。ClickHouse的查询语言是SQL的一种方言，它支…
阅读更多...
网络安全之XXE攻击

网络安全之XXE攻击

0x01 什么是 XXE 个人认为，XXE 可以归结为一句话：构造恶意 DTD 介绍 XXE 之前，我先来说一下普通的 XML 注入，这个的利用面比较狭窄，如果有的话应该也是逻辑漏洞。 既然能插入 XML 代码，那我们肯定不能善罢…
阅读更多...
图像分类-demo(Lenet),tensorflow和Alexnet

图像分类-demo(Lenet),tensorflow和Alexnet

目录 demo(Lenet) 代码实现基本步骤： TensorFlow 一、核心概念 二、主要特点 三、简单实现 参数: 模型编译 模型训练 模型评估 Alexnet model.py train.py predict.py demo(Lenet) PyTorch提供了一个名为“torchvision”的附加库，其中包含…
阅读更多...
【在Linux世界中追寻伟大的One Piece】信号捕捉|阻塞信号

【在Linux世界中追寻伟大的One Piece】信号捕捉|阻塞信号

目录 1 -> 信号捕捉初识 2 -> 阻塞信号 2.1 -> 信号其他相关常见概念 2.2 -> 在内核中的表示 2.3 -> sigset_t 2.4 -> 信号集操作函数 2.5 -> sigprocmask 2.6 -> sigpending 3 -> 捕捉信号 3.1 -> 内核如何实现信号的捕捉 3.2 ->…
阅读更多...
VBA高级应用30例应用3Excel中的ListObject对象：选择表的一部分

VBA高级应用30例应用3Excel中的ListObject对象：选择表的一部分

《VBA高级应用30例》（版权10178985），是我推出的第十套教程，教程是专门针对高级学员在学习VBA过程中提高路途上的案例展开，这套教程案例与理论结合，紧贴“实战”，并做“战术总结”，以…
阅读更多...
【Spring】获取 Cookie和Session

【Spring】获取 Cookie和Session

回顾 Cookie HTTP 协议自身是属于“无状态”协议 无状态：默认情况下，HTTP 协议的客户端和服务器之间的这次通信和下次通信之间没有直接的联系 但是在实际开发中，我们很多时候是需要知道请求之间的关联关系的 例如登录网站成功后&#xff…
阅读更多...
Linux高效查日志命令介绍

Linux高效查日志命令介绍

说明：之前介绍Linux补充命令时，有介绍使用tail、grep命令查日志； Linux命令补充 今天发现仅凭这两条命令不够，本文扩展介绍一下。 命令一：查看日志开头 head -n 行数 日志路径如下，可以查看程序启动是否…
阅读更多...
安装和配置k8s可视化UI界面dashboard-1.20.6

安装和配置k8s可视化UI界面dashboard-1.20.6

安装和配置k8s可视化UI界面dashboard-1.20.6 1.环境规划2.初始化服务器1）配置主机名2）设置IP为静态IP3）关闭selinux4）配置主机hosts文件5）配置服务器之间免密登录6）关闭交换分区swap，提升性能7&…
阅读更多...
系统架构设计师考试背记精要

系统架构设计师考试背记精要

1、架构的本质： （1）软件架构为软件系统提供了一个结构、行为和属性的高级抽象。（2）软件架构风格是特定应用领域的惯用模式，架构定义一个词汇表和一组约束。 2、数据流风格：适合于分阶段做数据处…
阅读更多...
Springboot从入门到起飞-【day01】

Springboot从入门到起飞-【day01】

个人主页→VON 收录专栏→Springboot从入门到起飞 一、前言 经过了近两个月的沉淀开始了新专栏的学习，经过深思熟虑还是决定重新学习java，因为基础部分东西太多太乱就不进行逐一的更新了，等到学完了一同进行更新。 二、Springboot简要概述 …
阅读更多...
汽车免拆诊断案例 | 2013款宝马116i车偶尔加速不良

汽车免拆诊断案例 | 2013款宝马116i车偶尔加速不良

故障现象　 一辆2013款宝马116i车，搭载N13B16A 发动机，累计行驶里程约为12.1万km。车主反映，该车行驶中偶尔加速无反应，且发动机故障灯异常点亮。 故障诊断 接车后试车，故障现象无法再现。用故障检测仪检测&#xff…
阅读更多...
ChatGPT国内中文版镜像网站整理合集（2024/10/06）

ChatGPT国内中文版镜像网站整理合集（2024/10/06）

一、GPT中文镜像站 ① yixiaai.com 支持GPT4、4o以及o1，支持MJ绘画 ② chat.lify.vip 支持通用全模型，支持文件读取、插件、绘画、AIPPT ③ AI Chat 支持GPT3.5/4，4o以及MJ绘画 1. 什么是镜像站 镜像站（Mirror Site&#xff…
阅读更多...
A股知识答题pk小程序怎么做？

A股知识答题pk小程序怎么做？

A股知识答题pk小程序怎么做？以下是制作A股知识答题PK小程序的一般步骤： 一、 需求分析与规划： 明确目标：确定小程序的主要目标，比如是为了帮助用户学习A股知识、进行趣味竞赛，还是作为金融教育工具等。 …
阅读更多...
2024年【金属非金属矿山（露天矿山）安全管理人员】考试题库及金属非金属矿山（露天矿山）安全管理人员实操考试视频

2024年【金属非金属矿山（露天矿山）安全管理人员】考试题库及金属非金属矿山（露天矿山）安全管理人员实操考试视频

题库来源：安全生产模拟考试一点通公众号小程序 2024年金属非金属矿山（露天矿山）安全管理人员考试题库为正在备考金属非金属矿山（露天矿山）安全管理人员操作证的学员准备的理论考试专题，每个月更新的金属非…
阅读更多...
基于IDEA+SpringBoot+Vue+Uniapp的投票评选小程序系统的详细设计和实现

基于IDEA+SpringBoot+Vue+Uniapp的投票评选小程序系统的详细设计和实现

2. 详细视频演示 文章底部名片，联系我获取更详细的演示视频 3. 论文参考 4. 项目运行截图 代码运行效果图 代码运行效果图 代码运行效果图 代码运行效果图 代码运行效果图 5. 技术框架 5.1 后端采用SpringBoot框架 Spring Boot 是一个用于快速开发基于 Spring 框…
阅读更多...
最新文章

Copyright @ 2022~2023