68. redis计数与限流中incr+expire的坑以及解决办法(Lua+TTL)

文章目录

  • 一、简介
  • 二、代码演进
    • 第一版代码（存在bug隐患）
    • 第二版代码（几乎无隐患）
    • 第三版代码(完美无瑕）

一、简介

在日常工作中，经常会遇到对某种操作进行频次控制或者统计次数的需求，此时常用的做法是采用redis的incr来递增,记录访问次数, 以及 expire 来设置失效时间。本文将以一个实际的例子来说明incr存在的一个"坑"，以及给出解决方案。

如：
26.redis实现日限流、周限流（含黑名单、白名单）
27.Go实现一月（30天）内不发送重复内容的站内信给用户

有这么一个场景，用户需要进行ocr识别，为了防止接口被刷，这里面做了一个限制(每分钟调用次数不能超过xx次)。 经过调研后，决定使用redis的incr和expire来实现这个功能
在这里插入图片描述

二、代码演进

第一版代码（存在bug隐患）

// 执行ocr调用
func (o *ocrSvc)doOcr(ctx context.Context,uid int)(interface,err){
	// 如果调用次数超过了指定限制，就直接拒绝此次请求
	ok,err := o.checkMinute(uid)
	if err != nil {
		return nil,err
	}
	if !ok {
		return nil,errors.News("frequently called")
	}
	// 执行第三方ocr调用(伪代码：模拟一个rpc接口)
	ocrRes,err := doOcrByThird()
	if err != nil {
		return nil,err
	}
	// 调用成功则执行 incr操作
	if err := o.redis.Incr(ctx,buildUserOcrCountKey(uid));err!=nil{
	   return nil,err
	}
	return ocrRes,nil
}
 
// 校验每分钟调用次数是否超过限制
func (o *ocrSvc)checkMinute (ctx context.Context,uid int) (bool, error) {
	minuteCount, err := o.redis.Get(ctx, buildUserOcrCountKey(uid))
	if err != nil && !errors.Is(err, eredis.Nil) {
		log.Error("checkMinute: redis.Get failed", zap.Error(err))
		return false, constx.ErrServer
	}
	if errors.Is(err, eredis.Nil) {
		// 过期了，或者没有该用户的调用次数记录(设置初始值为0，过期时间为1分钟)
		o.redis.Set(ctx, buildUserOcrCountKey(uid),0,time.Minute)
		return true, nil
	}
	// 已经超过每分钟的调用次数
	if cast.ToInt(minuteCount) >= config.UserOcrMinuteCount() {
		log.Warn("checkMinute: user FrequentlyCalled", zap.Int64("uid", uid), zap.String("minuteCount", minuteCount))
		return false, nil
	}
	return true, nil
}

详解
这一版代码存在什么问题呢？问题出在了 开始判断没有超出限制，然后执行第三方rpc接口调用也成功了，接下来直接进行计数加一（incr）操作有问题，如下图所示

在这里插入图片描述

说明：

  1. 假设当前用户在进行ocr识别时，未超过调用次数。但是在redis中的ttl还剩1秒钟
  2. 然后调用第三方ocr进行识别,加入耗时超过了1秒
  3. 识别成功后，调用次数+1。这里就很有可能出问题，比如：在incr的时候刚好该key在1s前过期了，那么redis是怎么做的呢，它会将该key的值设置为1，ttl设置为-1，ttl设置为-1，ttl设置为-1（重要的事情说三遍）,-1表示没有过期时间
  4. 这时候bug就出现了，用户的调用次数一直在涨，并且也不会过期，达到临界值时用户的请求就会被拒掉，相当于该用户之后都不能访问这个接口了，并且这种key变多后，由于没有过期时间，还会一直占用redis的内存。

总结
以上代码说明了一个问题，也就是incr和expire必须具备原子性。而我们第一版代码显然在边界条件下是不满足要求的，极有可能造成bug，影响用户体验，强烈不推荐使用，接下来一步一步引入修正后的代码

第二版代码（几乎无隐患）

从对第一版代码的分析可知，是由于查询次数还没有达到限制后，又进行了一些rpc调用，或者处理了一些其他业务逻辑，这个时间内，可能key过期了，然后我们直接使用incr进行计数加一，导致了永不过期的key产生。那么我们是不是可以在incr前先保证key还没有过期就行呢？答案是可以的，代码如下：

// 执行ocr调用
func (o *ocrSvc)doOcr(ctx context.Context,uid int)(interface,err){
	// 如果调用次数超过了指定限制，就直接拒绝此次请求
	ok,err := o.checkMinute(uid)
	if err != nil {
		return nil,err
	}
	if !ok {
		return nil,errors.News("frequently called")
	}
	// 执行第三方ocr调用(伪代码：模拟一个rpc接口)
	ocrRes,err := doOcrByThird()
	if err != nil {
		return nil,err
	}
	
	// 调用成功则执行 incr操作
	exists, err := o.redis.Exists(ctx, buildUserOcrCountKey(uid)).Result()
	if err != nil {
		log.Error("doOcr: redis.Exists failed", zap.Error(err))
		return nil, err
	}
	if exists == 1 { // key存在，计数加1
		if err := o.redis.Incr(ctx,buildUserOcrCountKey(uid));err!=nil{
	    return nil,err
	}
	} else { // key不存在，设置key与过期时间
		if err := o.redis.Set(ctx,buildUserOcrCountKey(uid),1,expireTime);err!=nil{
		   return nil,err
		}
	}
	return ocrRes,nil
}
 
// 校验每分钟调用次数是否超过限制
func (o *ocrSvc)checkMinute (ctx context.Context,uid int) (bool, error) {
	minuteCount, err := o.redis.Get(ctx, buildUserOcrCountKey(uid))
	if err != nil && !errors.Is(err, eredis.Nil) {
		log.Error("checkMinute: redis.Get failed", zap.Error(err))
		return false, constx.ErrServer
	}
	if errors.Is(err, eredis.Nil) {
		// 过期了，或者没有该用户的调用次数记录(设置初始值为0，过期时间为1分钟)
		o.redis.Set(ctx, buildUserOcrCountKey(uid),0,time.Minute)
		return true, nil
	}
	// 已经超过每分钟的调用次数
	if cast.ToInt(minuteCount) >= config.UserOcrMinuteCount() {
		log.Warn("checkMinute: user FrequentlyCalled", zap.Int64("uid", uid), zap.String("minuteCount", minuteCount))
		return false, nil
	}
	return true, nil
}

与第一版的差异主要在于如下代码：

  • 在需要incr操作前，我们先查看key是否存在（且没有过期）
    • 确保存在后，立即incr(这两步间隔几乎可以忽略，所以几乎可以避免第一版中的问题）
    • 如果不存在则设置key并设置过期时间。

注：redis中的incr命令是不会改变key的过期时间的

// 调用成功则执行 incr操作
	exists, err := o.redis.Exists(ctx, buildUserOcrCountKey(uid)).Result()
	if err != nil {
		log.Error("doOcr: redis.Exists failed", zap.Error(err))
		return nil, err
	}
	if exists == 1 { // key存在，计数加1
		if err := o.redis.Incr(ctx,buildUserOcrCountKey(uid));err!=nil{
	    return nil,err
	}
	} else { // key不存在，设置key与过期时间
		if err := o.redis.Set(ctx,buildUserOcrCountKey(uid),1,expireTime);err!=nil{
		   return nil,err
		}
	}

还有一种方式是查看key的过期时间,使用ttl，这样即使在极端情况下通过incr设置出了没有过期时间的key，也会在第二次访问的时候通过Set设置过期时间了。

注：ttl命令返回值是键的剩余时间（单位是秒）。当键不存在时，ttl命令会返回-2。没有为键设置过期时间（即永久存在，这是建立一个键后的默认情况）返回-1。

// 调用成功则执行 incr操作
	cnt, err := o.redis.Ttl(ctx, buildUserOcrCountKey(uid)).Result()
	if err != nil {
		log.Error("doOcr: redis.Ttl failed", zap.Error(err))
		return nil, err
	}
	if cnt >= 1 { // key存在,且还没有过期
		if err := o.redis.Incr(ctx,buildUserOcrCountKey(uid));err!=nil{
	    return nil,err
	}
	} else { // key马上过期0，key没有过期时间-1， key不存在-2
		if err := o.redis.Set(ctx,buildUserOcrCountKey(uid),1,expireTime);err!=nil{
		   return nil,err
		}
	}

第三版代码(完美无瑕）

第二版代码中的两种方式其实已经可以在工作中使用了，但如果追求完美无瑕的话，ttl版本的代码在极端情况下还是有点瑕疵，比如极端情况下，key过期时间还有1s过期，然后我们用incr去累加，但是网络延迟了，导致命令到达redis服务器的时候，key已经过期了，尽管第二次访问会用set重置key并设置过期时间，但是万一该用户再也不来访问了呢？这时候这个key就会永远占据着内存了。

将incr+expire放在lua脚本中执行保证原子性是最完美的。废话不多说了，直接上代码

// 执行ocr调用
func (o *ocrSvc)doOcr(ctx context.Context,uid int)(interface,err){
	// 如果调用次数超过了指定限制，就直接拒绝此次请求
	ok,err := o.checkMinute(uid)
	if err != nil {
		return nil,err
	}
	if !ok {
		return nil,errors.News("frequently called")
	}
	// 执行第三方ocr调用((伪代码：模拟一个rpc接口))
	ocrRes,err := doOcrByThird()
	if err != nil {
		return nil,err
	}
	// 调用成功则执行 incr操作
	if err := o.incrCount(ctx,buildUserOcrCountKey(uid));err!=nil{
	   return nil,err
	}
	return ocrRes,nil
}
 
func (o *ocrSvc) incrCount(ctx context.Context, uid int64) error {
   /*
   此段lua脚本的作用:
     第一步，先执行incr操作
     local current = redis.call('incr',KEYS[1])
     第二步，看下该key的ttl
     local t = redis.call('ttl',KEYS[1]); 
     第三步，如果ttl为-1(永不过期)
     if t == -1 then
         则重新设置过期时间为 「一分钟」
		 redis.call('expire',KEYS[1],ARGV[1])
	 end;
   */
	script := redis.NewScript(
		`local current = redis.call('incr',KEYS[1]);
		 local t = redis.call('ttl',KEYS[1]); 
		 if t == -1 then
		 	redis.call('expire',KEYS[1],ARGV[1])
		 end;
		 return current
	`)
	var (
		expireTime = 60 // 60 秒
	)
	_, err := script.Run(ctx, b.redis.Client(), []string{buildUserOcrCountKey(uid)}, expireTime).Result()
	if err != nil {
		return err
	}
	return nil
}
 
// 校验每分钟调用次数是否超过
func (o *ocrSvc)checkMinute (ctx context.Context,uid int) (bool, error) {
	minuteCount, err := o.redis.Get(ctx, buildUserOcrCountKey(uid))
	if err != nil && !errors.Is(err, eredis.Nil) {
		elog.Error("checkMinute: redis.Get failed", zap.Error(err))
		return false, constx.ErrServer
	}
	if errors.Is(err, eredis.Nil) {
	    // 第二版代码中在check时不进行初始化操作
		// 过期了，或者没有该用户的调用次数记录(设置初始值为0，过期时间为1分钟)
		// o.redis.Set(ctx, buildUserOcrCountKey(uid),0,time.Minute)
		return true, nil
	}
	// 已经超过每分钟的调用次数
	if cast.ToInt(minuteCount) >= config.UserOcrMinuteCount() {
		elog.Warn("checkMinute: user FrequentlyCalled", zap.Int64("uid", uid), zap.String("minuteCount", minuteCount))
		return false, nil
	}
	return true, nil
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/337064.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

安全基础~攻防特性3

安全基础~攻防特性3

文章目录 SSTI(模板注入)1. 简介2. 成因3. 常见框架存在注入4. 判断存在SSTI SSTI(模板注入) 1. 简介 (Server-Side Template Injection) 服务端模板注入 1、使用框架（MVC的模式），如python的flask，php的tp，java的sp…
阅读更多...
Docker安装配置OnlyOffice

Docker安装配置OnlyOffice

OnlyOffice 是一款强大的办公套件，你可以通过 Docker 轻松安装和部署它。本文将指导你完成安装过程。 步骤 1：拉取 OnlyOffice Docker 镜像 首先，使用以下命令从 Docker Hub 拉取 OnlyOffice Document Server 镜像： sudo docke…
阅读更多...
Linux设备管理模型-02：sysfs

Linux设备管理模型-02：sysfs

文章目录 sysfs1 使用sysfs控制GPIO2 sysfs编程2.1 完善sysfs属性文件的读写操作 上一篇文: 设备管理模型中的基础数据结构 sysfs sysfs是用于导出内核对象的文件系统，它是一个基于ram的文件系统，最初基于ramfs。 sysfs通常挂载在/sys目录下。它提供了一…
阅读更多...
Linux中的共享内存

Linux中的共享内存

定义： 共享内存允许两个或者多个进程共享物理内存的同一块区域（通常被称为段）。由于一个共享内存段会称为一个进程用户空间的一部分，因此这种 IPC 机制无需内核介入。所有需要做的就是让一个进程将数 据复制进共享内存中&#xff…
阅读更多...
web漏洞总结大全（基础）

web漏洞总结大全（基础）

前言 本文章是和cike_y师傅一起写的，cike_y博客：https://blog.csdn.net/weixin_53912233?typeblog 也欢迎大家对本文章进行补充和指正，共同维护这个项目，本文的github项目地址： https://github.com/baimao-box/Sum…
阅读更多...
Golang 搭建 WebSocket 应用（八） - 完整代码

Golang 搭建 WebSocket 应用（八） - 完整代码

本文应该是本系列文章最后一篇了，前面留下的一些坑可能后面会再补充一下，但不在本系列文章中了。 整体架构 再来回顾一下我们的整体架构： 在我们的 demo 中，包含了以下几种角色： 客户端：一般是浏览器&am…
阅读更多...
java枚举详细解释

java枚举详细解释

枚举的基本认识 我们一般直接定义一个单独的枚举类 public enum 枚举类名{枚举项1,枚举项2,枚举项3 } 可以通过 枚举类名.枚举项 来访问该枚举项的 - 可以理解为 枚举项就是我们自己定义的一个数据类型,是独一无二的 接下来我们直接用一个例子来完全理解 加深理解 这里…
阅读更多...
Linux-nginx(安装配置nginx、配置反向代理、Nginx配置负载均衡、动静分离）

Linux-nginx(安装配置nginx、配置反向代理、Nginx配置负载均衡、动静分离）

关于代理 正向代理: 客户明确知道自己访问的网站是什么 隐藏客户端的信息 目录 关于代理 一、Nginx的安装与配置 1、安装依赖 2、安装nginx （1）上传压缩包到目录 /usr/nginx里面 （2）解压文件 （3&#xff09…
阅读更多...
String在VS与Linux下的区别

String在VS与Linux下的区别

目录 一、string的成员 1.VS 2.Linux 二、string的扩容机制 1. VS 2.Linux 一、string的成员 string是C标准库中的一个类模板，用于表示和操作字符串 string在 Windows 与 Linux 中的成员不是相同的 1.VS 4个成员：_str , _size , _capacity 和…
阅读更多...
【一文详解】Java多线程和并发知识点详细总结【万字总结】

【一文详解】Java多线程和并发知识点详细总结【万字总结】

Java并发编程 并发编程的三个特性 原子性 一次操作或者多次操作，要么所有的操作全部都得到执行并且不会受到任何因素的干扰而中断，要么都不执行。 在 Java 中，可以借助synchronized、各种 Lock 以及各种原子类实现原子性。 synchronized…
阅读更多...
MySQL（五）——多表查询

MySQL（五）——多表查询

上期文章 MySQL（四）——约束 文章目录 上期文章多表关系一对多（多对一）多对多多表外键关系可视化一对一 多表查询概述笛卡尔积多表查询分类连接查询 内连接隐式内连接显式内连接 外连接左外连接右外连接 自连接联合查询 union&am…
阅读更多...
python-基础篇-变量

python-基础篇-变量

文章目录 变量的基本使用目标01. 变量定义1) 变量演练1 —— iPython2) 变量演练 2 —— PyCharm3) 变量演练 3 —— 超市买苹果思考题 02. 变量的类型2.1 变量类型的演练 —— 个人信息2.2 变量的类型2.3 不同类型变量之间的计算1) **数字型变量** 之间可以直接计算2) **字符串…
阅读更多...
Python基础第四篇（Python函数）

Python基础第四篇（Python函数）

文章目录 一、函数介绍二、函数的定义三、函数的参数与返回值四、函数说明文档五、函数的嵌套六、变量域七、函数案例1.源代码2.读出结果 在程序设计领域，函数成为一个不可或缺的角色，它们为我们提供了精练、高效和易于管理的编程方式。本篇博客将带您深…
阅读更多...
CentOS 7安装Java并配置环境

CentOS 7安装Java并配置环境

一、安装Java环境 1、检查系统是否安装Java [rootlocalhost ~]# java -version 2、更新系统软件包 [rootlocalhost ~]# yum update #遇到[y/n],选择y并回车，耐心等待下载完毕，之后系统会自动检验更新的软件包遇到 /var/run/yum.pid 已被锁定 /var/…
阅读更多...
【动态规划】【数学】【C++算法】805 数组的均值分割

【动态规划】【数学】【C++算法】805 数组的均值分割

作者推荐 【动态规划】【数学】【C算法】18赛车 本文涉及知识点 动态规划 数学 805 数组的均值分割 给定你一个整数数组 nums 我们要将 nums 数组中的每个元素移动到 A 数组 或者 B 数组中，使得 A 数组和 B 数组不为空，并且 average(A) average(B)…
阅读更多...
nuclei安装；linux上 以及使用教程

nuclei安装；linux上 以及使用教程

kali安装go环境_go1.17 kali安装-CSDN博客Ubuntu完美解决Github网站打不开问题 - 一抹烟霞 - 博客园 (cnblogs.com) All releases - The Go Programming Language 然但是上面两个我似乎都没用到网上的教程 也不适用 一个网不好 一个apt没找到包 然后我先试试了版本 结果 我的…
阅读更多...
BGP Origin 属性控制选路试验

BGP Origin 属性控制选路试验

一、拓朴图： 二、配置步骤： 1、配置 IP 2、配置 IGP，我们这里用了静态，互相宣告了对端接口和 Loopback 0 3、配置 BGP 4、在 R1 上通过 BGP 宣告 1.1.1.1，查看 R2 的路由，发现两条 1.1.1.1 的路由&#x…
阅读更多...
Vue中的组件

Vue中的组件

在应用程序的开发中，组件是不可缺少的。在Vue的使用中，同样也会用到组件。 　　vue组件的一般知识点： 　　1、组件的名字唯一； 　　2、组件以Html形式书写； 　　3、组件可以复用； 　　4、组件可以嵌套&…
阅读更多...
postgresql（Windows）初始化数据库教程

postgresql（Windows）初始化数据库教程

省流：本文章内容讲的是如何初始化postgresql数据库环境，前提是已经安装好postgresql数据库，安装步骤参考postgresql（Windows）安装教程 # 开始：安装postgresql-12.14-2-windows-x64.exe完成后进行初始化数据…
阅读更多...
gin中间件篇

gin中间件篇

1. 全局中间件 所有请求都经过此中间件 package mainimport ("fmt""time""github.com/gin-gonic/gin" )// 定义中间 func MiddleWare() gin.HandlerFunc {return func(c *gin.Context) {t : time.Now()fmt.Println("中间件开始执行了&quo…
阅读更多...
最新文章

Copyright @ 2022~2023