go限流、计数器固定窗口算法/计数器滑动窗口算法

go限流、计数器固定窗口算法/计数器滑动窗口算法

一、问题

问题1:后端接口只能支撑每10秒1w个请求,要怎么来保护它呢?
问题2:发短信的接口,不超过100次/时,1000次/24小时,要怎么实现?

二、计数器固定窗口算法

所谓固定窗口,就是只设置了一个时间段,给这个时间段加上一个计数器。 常见的就是统计每秒钟的请求量。 这里就是一个QPS计数器。 在这一秒种内的所有请求,只要给这个计数器递增就可以得到当前的并发量了。 用这个方法也就可以解决前面的问题1。可以直接使用系统的当前UNIX时间戳,精确到秒钟。 这个时间戳作为key,设置一个较短的过期时间,比如:10s。

package main

import (
	"fmt"
	"time"
)

type SlidingWindow struct {
	WindowSize        int
	Window            []int
	LastUpdateTime    time.Time
	WindowDuration    time.Duration
	CurrentIndex      int
	Count             int
	MaxAllowedRequest int
}

func NewSlidingWindow(windowSize int, windowDuration time.Duration, maxRequest int) *SlidingWindow {
	if windowSize <= 0 {
		panic("windowSize must be greater than 0")
	}
	return &SlidingWindow{
		WindowSize:        windowSize,
		Window:            make([]int, windowSize),
		LastUpdateTime:    time.Now(),
		WindowDuration:    windowDuration,
		CurrentIndex:      0,
		MaxAllowedRequest: maxRequest,
	}
}

func (sw *SlidingWindow) IncrementCount() {
	now := time.Now()

	if now.Sub(sw.LastUpdateTime) >= sw.WindowDuration { //比较时间是否超过限定时间
		sw.ResetWindow()
	}

	sw.Count++
	sw.Window[sw.CurrentIndex] = sw.Count //窗口总量加1

	if sw.Count > sw.MaxAllowedRequest { //最好用窗口总量去计算。这里为了显示两种效果
		fmt.Println("Max allowed request exceeded")
	}
	sw.CurrentIndex = (sw.CurrentIndex + 1) % sw.WindowSize //窗口往后移动一个位置
}

func (sw *SlidingWindow) ResetWindow() {
	for i := range sw.Window {//将窗口归零
		sw.Window[i] = 0
	}
	sw.Count = 0
	sw.LastUpdateTime = time.Now() //记录最后一次更新
}

func main2() {
	windowSize := 5 //窗口粒度,问题1的话可以简化掉。
	windowDuration := time.Second * 10//十秒的访问量
	maxRequest := 10000//最大访问量

	slidingWindow := NewSlidingWindow(windowSize, windowDuration, maxRequest)

	for i := 0; i < 10; i++ {
		slidingWindow.IncrementCount()
		time.Sleep(time.Second)
	}
}

三、计数器滑动窗口算法

固定窗口就一个计数器,而滑动窗口就需要有多个计数器。 具体需要多少个计数器,要看窗口的范围和粒度来决定窗口大小。 比如:时间窗口的范围是24小时,时间窗口的粒度是1小时,那么窗口大小就是24,需要的计数器也就是24个。 我们再来回顾下前面的问题2。 如果我们用上面的固定窗口算法,需要2个计数器,一个是小时的计数器,一个是24小时,也就是天的计数器。 很明显,天的计数器会有很大的误差。 比如:昨天14点前没有任何请求,然后在14点开始,每小时都有100次请求。 到昨天的23点,刚好用完了1000次全天的额度。 但是这时候,还是每小时有100个请求, 那么从昨天的14点到今天10点,总共20小时就会有2000次请求,远远超过了24小时最多1500次的限制。 所以,这里使用滑动窗口替代固定窗口会更加合适。 如果想要限流控制点更加精准,那么就可以把窗口粒度设计的更细。 而代价就是窗口大小增加,需要的存储和计算量都会增加。 所以,这里也是需要对精准度和成本做平衡和选择,难以兼得。
在这里插入图片描述

package main

import (
	"fmt"
	"time"
)

type RateLimiter struct {
	perHour     int
	perDay      int
	hourWindow  []int
	dayWindow   []int
	lastHourIdx int
	lastDayIdx  int
}

func NewRateLimiter(perHour, perDay int) *RateLimiter {
	return &RateLimiter{
		perHour:     perHour,
		perDay:      perDay,
		hourWindow:  make([]int, 60),
		dayWindow:   make([]int, 1440),
		lastHourIdx: 0,
		lastDayIdx:  0,
	}
}

func (rl *RateLimiter) Allow() bool {
	now := time.Now()
	hourIdx := (now.Minute() + now.Hour()*60) % 60  //记录小时的id,
	dayIdx := now.Hour()*60 + now.Minute()         //记录天的id

	if rl.hourWindow[hourIdx] >= rl.perHour || rl.dayWindow[dayIdx] >= rl.perDay {
		return false
	}

	rl.hourWindow[hourIdx]++
	rl.dayWindow[dayIdx]++
	rl.cleanUpOldEntries(hourIdx, dayIdx)

	return true
}

func (rl *RateLimiter) cleanUpOldEntries(hourIdx, dayIdx int) {
	if hourIdx != rl.lastHourIdx {//如果小时id更新了需要窗口往右移动
		rl.hourWindow[hourIdx] = 1 //最新小时id的总量为1
		rl.hourWindow[rl.lastHourIdx] = 0 //窗口往右移动,上一个归零
		rl.lastHourIdx = hourIdx //记录最新id
	}

	if dayIdx != rl.lastDayIdx {
		rl.dayWindow[dayIdx] = 1
		rl.dayWindow[rl.lastDayIdx] = 0
		rl.lastDayIdx = dayIdx
	}
}

func main3() {
	limiter := NewRateLimiter(100, 1000)

	for i := 0; i < 1200; i++ {
		if limiter.Allow() {
			fmt.Printf("Request %d allowed\n", i+1)
		} else {
			fmt.Printf("Request %d blocked\n", i+1)
		}
		time.Sleep(time.Second)
	}
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/550975.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

一分钟举例了解AI智能客服机器人的具体应用

AI智能客服机器人广泛应用于多个领域&#xff0c;充斥着我们生活的方方面面。在电商领域、银行业、电信行业、政府机构、教育机构、医疗机构等也借助AI智能客服机器人提供咨询、答疑等服务。但是具体是怎么应用到这些场景的呢&#xff1f;今天就用HelpLook的AI智能机器人的具体…

IMU是什么和IMU工作原理

陀螺仪和加速度计是IMU的主要部件&#xff0c;其精度直接影响惯性系统的精度。在实际工作中&#xff0c;由于各种不可避免的干扰因素&#xff0c;陀螺仪和加速度计会产生误差。从初始对准开始&#xff0c;其导航误差随着时间的推移而增大&#xff0c;尤其是位置误差&#xff0c…

JavaScrip 在主窗口打开浏览器子窗口时,监听子窗口开启与关闭,可在主窗口关闭子窗口

需求 vue项目&#xff0c;需要打开浏览器子窗口&#xff0c;并且要监听子窗口的刷新与关闭&#xff0c;如果子窗口刷新&#xff0c;主窗口需要自动关闭子窗口。主窗口关闭子窗口一起关闭。 解决思路 看看官方给的思路 在Vue中&#xff0c;如果你想关闭当前浏览器标签页&…

计算机体系架构

冯诺依曼架构 我们编写的程序存储在哪里呢&#xff1f;CPU内部的结构其实很简单&#xff0c;除了ALU、控制单元、寄存器和少量Cache&#xff0c;根本没有多余的空间存放我们编写的代码&#xff0c;我们需要额外的存储器来存放我们编写的程序&#xff08;指令序列&#xff09;。…

Android 自定义SwitchPreference

1. 为SwitchPreference 添加背景&#xff1a;custom_preference_background.xml <?xml version"1.0" encoding"utf-8"?> <selector xmlns:android"http://schemas.android.com/apk/res/android"><item><shape android:s…

MyBaties-plus 小蓝鸟 构造器 QueryWrapper 知识学习汇总

一、QueryWrapper是什么&#xff1f; QueryWrapper 是 mybatis-plus 条件构造器 https://mp.baomidou.com 小蓝鸟官方网址 MyBatis-Plus (opens new window)&#xff08;简称 MP&#xff09;是一个 MyBatis (opens new window)的增强工具&#xff0c;在 MyBatis 的基础上只做…

数字展览会如何重塑展览业的可持续发展与互动体验?

随着数字技术的飞速发展&#xff0c;数字展览会已成为全球展览行业的一个重要趋势&#xff0c;它为参展商和观众提供了全新的交流与展示平台。这种展览形式不仅提高了展览的可访问性和互动性&#xff0c;而且显著降低了参与成本&#xff0c;对未来展览会的发展具有重要的推动作…

初始ansible变量及实例配置

目录 1、为什么要使用变量 2、变量分类 3、 变量详解 3.1 vars,vars_files , group_vars 3.1 .1 vars 剧本中定义变量 3.1.2 vars_file 将变量存放到一个文件中&#xff0c;并在剧本中引用 3.1.3 group_vars 创建一个变量文件给某个组使用 实例1-根据不同的主机…

【【相机运动】_Camera_shake镜头晃动动画】

【相机运动】:Camera shake镜头晃动动画 2022-07-20 20:28 评论(0)

压缩感知(ISTA-Net论文)学习笔记

压缩感知&#xff08;ISTA-Net论文&#xff09;学习笔记 第一天&#xff0c;主要查找相关视频和笔记&#xff0c;补全预备知识 【nabla算子】与梯度、散度、旋度_哔哩哔哩_bilibili 近端梯度(Proximal Gradient)下降算法的过程以及理解|ISTA算法|LASSO问题_哔哩哔哩_bilibil…

Weakly Supervised Audio-Visual Violence Detection 论文阅读

Weakly Supervised Audio-Visual Violence Detection 论文阅读 摘要III. METHODOLOGYA. Multimodal FusionB. Relation Modeling ModuleC. Training and Inference IV. EXPERIMENTSV. CONCLUSION阅读总结 文章信息&#xff1a; 发表于&#xff1a;IEEE TRANSACTIONS ON MULTIME…

IP定位技术在解决广告恶意点击问题中的应用

随着互联网的迅猛发展&#xff0c;数字广告已成为企业推广产品和服务的重要方式。然而&#xff0c;随之而来的是广告恶意点击的问题&#xff0c;这不仅导致广告主的损失&#xff0c;也影响了广告生态的健康发展。为了解决这一问题&#xff0c;IP定位技术应运而生&#xff0c;成…

算法学习——LeetCode力扣补充篇9(912. 排序数组、21. 合并两个有序链表、33. 搜索旋转排序数组、103. 二叉树的锯齿形层序遍历)

算法学习——LeetCode力扣补充篇9 912. 排序数组 912. 排序数组 - 力扣&#xff08;LeetCode&#xff09; 描述 给你一个整数数组 nums&#xff0c;请你将该数组升序排列。 示例 示例 1&#xff1a; 输入&#xff1a;nums [5,2,3,1] 输出&#xff1a;[1,2,3,5] 示例 2&…

转换为elementUI提示方法为uni-app的showToast提示

// 转换为elementUI提示方法为uni-app的showToast提示---------------------------------------- // 一般提示 Vue.prototype.$message function(title) {title && uni.showToast({icon: none,title}); }; // 成功提示 Vue.prototype.$message.success (title) > …

AI智能电销机器人是什么?能给我们带来哪些便利?

科技的飞速发展&#xff0c;让很多“懒人”的幻想变成了现实&#xff0c;越来越多的人工智能产品被发明出来甚至完全替代日常生活中的工作。比如在电销行业&#xff0c;很多企业选择AI智能电销机器人进行外呼。那么你了解多少AI智能电销机器人呢&#xff1f;和小编kelaile520一…

女上司问我:误删除PG百万条数据,可以闪回吗?

作者&#xff1a;IT邦德 中国DBA联盟(ACDU)成员&#xff0c;10余年DBA工作经验 擅长主流数据Oracle、MySQL、PG、openGauss运维 备份恢复&#xff0c;安装迁移&#xff0c;性能优化、故障应急处理等可提供技术业务&#xff1a; 1.DB故障处理/疑难杂症远程支援 2.Mysql/PG/Oracl…

机器学习——模型评价

概述 在机器学习中&#xff0c;模型评价是评估和比较不同模型性能的关键步骤之一。它是通过对模型的预测结果与真实标签进行比较&#xff0c;从而量化模型的预测能力、泛化能力和稳定性。模型评价旨在选择最佳的模型&#xff0c;理解模型的行为&#xff0c;并为模型的改进提供…

Android多线程:Handler runOnUiThread 异步消息处理机制

目录 一&#xff0c;Android中的多线程问题 1.模拟耗时工作 2.Android开启子线程 二&#xff0c;在子线程中更新UI 1.异步消息处理机制 Handler 2.使用runOnUiThread更新UI 一&#xff0c;Android中的多线程问题 Android用户界面是与用户交互的接口&#xff0c;对于用户的…

YOLO-World: Real-Time Open-Vocabulary Object Detection 简介+安装+运行+训练(持续更新)

前言 YOLO_WORLD太牛了&#xff01;&#xff01;众所周知&#xff0c;传统是视觉目标检测一旦训练好后&#xff0c;如果我们需要增加新的识别目标的话&#xff0c;必须得重新训练模型。在生产中如果经常要新增检测目标&#xff0c;对时效性影响很大&#xff0c;而且随着数据量…

4G/5G布控球/移动执法仪/智能单兵电力巡检远程视频智能监控方案

一、背景与需求 随着科技的不断进步&#xff0c;视频监控技术已成为电力行业不可或缺的一环。电力行业的巡检及建设工作&#xff0c;因施工现场在人迹罕见的野外或山区&#xff0c;地形复杂多变&#xff0c;安全更是重中之重&#xff0c;现场工作的视频图像需实时传回监管中心…