资源限流 + 本地分布式多重锁——高并发性能挡板,隔绝无效流量请求

前言

在高并发分布式下,我们往往采用分布式锁去维护一个同步互斥的业务需求,但是大家细想一下,在一些高TPS的业务场景下,让这些请求全部卡在获取分布式锁,这会造成什么问题?

瞬时高并发压垮系统

众所周知,一个 SpringBoot 应用的同一时间在运行的请求是有限的,因为 SpringBoot 处理请求底层也是个线程池。我截图个 Hippo4j 监控到的 SpringBoot Tomcat 容器线程池举例。

image.png

通过上图得知,SpringBoot Tomcat 容器默认情况下,同一时间最多能处理 200 个请求。如果要应对上千万的 TPS 明显是不可能的。

如果我们直接上分布式锁来维护那么一个同步互斥的业务需求,大量请求会因为分布式锁的申请而发生阻塞,导致请求无法快速处理。这会导致后续请求长时间被阻塞,使系统陷入假死状态。无论请求的数量有多大,系统都无法返回响应。此外,随着请求的积累,还存在内存溢出的风险。更糟糕的是,如果 SpringBoot Tomcat 的线程池被分布式锁占用,查询请求也将无法得到响应。系统直接嘎了....

无效请求浪费资源

假如一趟列车有几十万人抢票,但是真正能购票的用户可能也就几千人。也就意味着哪怕几十万人都去请求这个分布式锁,最终也就几十万人中的几千人是有效的,其它都是无效获取分布式锁的行为。这样子就给 Redis 申请分布式锁带来巨大的开销压力

那么针对上述两个问题,我们该如何优雅解决?且看下文解析

资源限流算法

1. 什么是限流

限流(Rate Limiting)是一种应用程序或系统资源管理的策略,用于控制对某个服务、接口或功能的访问速率。它的主要目的是防止过度的请求或流量超过系统的处理能力,从而保护系统的稳定性、可靠性和安全性。

通过限制访问速率,限流可以防止以下问题的发生:

  1. 过度使用资源:限流可以防止某个用户或客户端过度使用系统资源,从而保护服务器免受过载的影响。
  2. 防止垃圾请求:限流可以过滤掉恶意或无效的请求,例如恶意攻击、爬虫或垃圾邮件发送等。
  3. 维护服务质量:通过限制访问速率,可以确保每个请求都能够得到适当的处理和响应时间,从而提高服务质量和用户体验。
  4. 控制成本:限流可以帮助控制系统资源的使用,避免因为过多的请求而导致不必要的成本增加。

上文也讲到过,一个列车可能就几百上千人能购买成功,但可能会有远超过这个量级的用户进行抢票,在真正执行抢票逻辑前,可以通过限流算法进行限制,只让少量用户操作购票流程。

2. 常见限流算法

限流可以通过多种算法方式实现,比如:

  1. 固定窗口算法(Fixed Window Algorithm):该算法将时间划分为固定大小的窗口,例如每秒、每分钟或每小时。在每个窗口内,限制请求的数量不得超过预设的阈值。这种算法简单直观,但可能存在突发请求超过阈值的问题。
  2. 滑动窗口算法(Sliding Window Algorithm):该算法将时间划分为连续的时间片段,例如每秒划分为多个小的时间片段。每个时间片段都有自己的请求计数器,记录在该时间片段内的请求数量。当请求到达时,会逐渐删除过时的时间片段,并根据当前时间片段内的请求数量判断是否超过阈值。这种算法可以更好地处理突发请求。
  3. 令牌桶算法(Token Bucket Algorithm):该算法模拟了一个令牌桶,桶中以固定速率生成令牌。每个令牌代表一个请求的许可。当请求到达时,需要先从令牌桶中获取令牌,如果桶中没有足够的令牌,则请求被限制。这种算法可以平滑地控制请求的速率。
  4. 漏桶算法(Leaky Bucket Algorithm):该算法类似于一个漏桶,请求以固定速率进入漏桶。如果漏桶已满,则多余的请求将被丢弃或延迟处理。这种算法可以稳定请求的处理速率,防止突发请求对系统造成压力。

这些算法都有不同的特点和适用场景,选择适合的限流算法取决于应用程序的需求和预期的限流效果。在实际应用中,也可以根据具体情况结合多种算法来实现更复杂的限流策略。

这些算法网上介绍的较为完善,大家可以搜索相关文章详细了解,这里不过多赘述。

实际业务学习

假设我们现在需要设计一个架构来满足国庆假期热门列车的车票售卖业务

业务分析

对于五一、国庆以及过年这些节日来说,一些热门列车的 TPS 少说有几十万 TPS。如果仅仅采用所有请求都进行分布式锁竞争去同步互斥进行购座下单的设计,直接就会导致前面提到的瞬时高并发压垮系统问题,那这块的分布式锁逻辑是不是可以优化呢?比如不让所有抢购列车的用户去申请分布式锁,而是让少量用户去请求获取分布式锁。这样优化的话,可以极大情况节省 Redis 申请分布式锁的开销压力。

优化思路

我们可以采用双重判定锁的思路,在竞争分布式锁前判断它有没有资格去竞争先,只要没有资格竞争的就一边凉快儿去,只有剩下那些具备竞争资格的请求才能到达下一步竞争环境,大家想想,对于当前业务场景来说,如果把车票当作一个令牌,在竞争锁前先让他们去抢这些令牌,只有抢到令牌的人才能进行竞争分布式锁同步互斥下单操作,那么你看,几十万的TPS不就变成了几千个TPS了嘛,这样优化的话,可以极大情况节省 Redis 申请分布式锁的开销压力。

伪代码实现

相信大家已经明白了精髓,这里我就不贴多详细的代码了,精华往往一点即通~以下是简要的伪代码:

if(令牌容器在缓存中失效){
    重新读取令牌资源,并放入缓存中充当令牌容器
}
String token = Lua脚本实现查询余额大于0就返回,并余额减一,确保两操作的原子性
if(token != null){
    RLock lock = redissonClient.getFairLock(lockKey);
    lock.lock();
    try {
            // 执行购票流程
            return executePurchaseTickets(requestParam);
        } finally {
            // 释放分布式公平锁
            lock.unlock();
        }
}

不知道上述讲解大家对于分布式锁的运用设计有没有新的思路呢?但是还没有结束噢,下面我们再来深入一下

本地分布式多重锁

优化思路

类似于这种有加分布式锁逻辑的,大多数都是集群化部署,是否需要考虑封装下加锁逻辑呢?,比如线程先去竞争单个服务的内部锁,竞争成功再去竞争分布式锁,从而减少redis的压力,其实本质上就是一个逐级打怪的过程,我先在蛇窝里当上蛇头了,代表所有蛇去龙穴里去和其他的蛇头竞争龙头,那么经过这么一轮的再度过滤,竞争的分布式锁的TPS是不是就更小了呢?

1. 构建本地分布式多重锁

接口的实现逻辑需要再次重构下,从单分布式锁的获取变为多种锁的组合获取。

private final ConcurrentHashMap<String, ReentrantLock> localLockMap = new ConcurrentHashMap<>();

@Override
@Transactional(rollbackFor = Throwable.class)
public TicketPurchaseRespDTO purchaseTicketsV2(PurchaseTicketReqDTO requestParam) {
	// .....
	// 构建锁唯一 Key
    String lockKey = environment.resolvePlaceholders(String.format(LOCK_PURCHASE_TICKETS, requestParam.getTrainId()));
	// 根据锁唯一 Key 获取本地锁,通过 ConcurrentHashMap 保证并发读写数据安全
    ReentrantLock localLock = localLockMap.computeIfAbsent(lockKey, key -> new ReentrantLock(true));
	// 先获取本地公平锁,因为咱们上面创建锁指定了公平模式 new ReentrantLock(true)
    localLock.lock();
    try {
        // 获取到本地公平锁后,开始获取分布式公平锁
        RLock lock = redissonClient.getFairLock(lockKey);
        lock.lock();
        try {
            // 执行购票流程
            return executePurchaseTickets(requestParam);
        } finally {
            // 释放分布式公平锁
            lock.unlock();
        }
    } finally {
        // 释放本地公平锁
        localLock.unlock();
    }
}

从实现咱们上述功能来说,这个代码已经没问题了。但是,仔细思考下,是否还有一些潜在逻辑是没考虑到的?

2. 本地锁内存安全思考

上面这个程序安全么?在看到这里时,大家思考下。

结论是不安全的,可能会有内存溢出的风险。问题就出在本地锁存储容器上。

我们通过 ConcurrentHashMap 存储每个列车的本地锁,作为申请分布式锁之前的一层性能挡板,隔绝无效流量请求 Redis。但是大家发现没有,这个 ConcurrentHashMap 是只能存储,但是没有任何过期策略。这样会导致一个问题就是应用长时间不发布,越来越多的列车数据存储在容器中,直到内存溢出为止。

怎么实现一个线程安全以及内存安全的本地锁容器?伪代码如下,大家仅作为参考即可。

通过 Caffeine 创建本地安全锁容器,Caffeine 的 expireAfterWrite 方法代表,放入元素过期的时间是什么。比如咱们以下案例中配置的一天过期,代表一个列车的本地公平锁创建一天后失效。

private final Cache<String, ReentrantLock> localLockMap = Caffeine.newBuilder()
        .expireAfterWrite(1, TimeUnit.DAYS)
        .build();

@Override
@Transactional(rollbackFor = Throwable.class)
public TicketPurchaseRespDTO purchaseTicketsV2(PurchaseTicketReqDTO requestParam) {
    // ......
    String lockKey = environment.resolvePlaceholders(String.format(LOCK_PURCHASE_TICKETS, requestParam.getTrainId()));
    // getIfPresent 类似于 HashMap 中 get 方法
	ReentrantLock localLock = localLockMap.getIfPresent(lockKey);
	// 不存在的话执行加载流程
    if (localLock == null) {
        // Caffeine 不像 ConcurrentHashMap 做了并发读写安全控制,这里需要咱们自己控制
        synchronized (TicketService.class) {
            // 双重判定的方式,避免重复创建
            if ((localLock = localLockMap.getIfPresent(lockKey)) == null) {
                // 创建本地公平锁并放入本地公平锁容器中
                localLock = new ReentrantLock(true);
                localLockMap.put(lockKey, localLock);
            }
        }
    }
    localLock.lock();
    try {
        RLock lock = redissonClient.getFairLock(lockKey);
        lock.lock();
        try {
            return executePurchaseTickets(requestParam);
        } finally {
            lock.unlock();
        }
    } finally {
        localLock.unlock();
    }
}

文末总结

希望通过以上两个优化方向的讲解,能给大家对分布式锁的设计带来新的思路,最后再给大家引用一位大佬的话:

技术设计中不存在“银弹”。选择技术选型往往会有得失,多方面权衡后选择出一个适合项目的使用即可。

一起加油吧!陌生的程序人

image.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/112920.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Go Metrics SDK Tag 校验性能优化实践

背景 Metrics SDK 是与字节内场时序数据库 ByteTSD 配套的用户指标打点 SDK&#xff0c;在字节内数十万服务中集成&#xff0c;应用广泛&#xff0c;因此 SDK 的性能优化是个重要和持续性的话题。本文主要以 Go Metrics SDK 为例&#xff0c;讲述对打点 API 的 hot-path 优化的…

当函数参数为一级指针,二级指针

当函数参数为一级指针&#xff0c;二级指针 在讲述内容之前&#xff0c;先讲四点重要知识 1.当传入参数时&#xff0c;函数形参会立即申请形参的内存空间&#xff0c;函数执行完毕后&#xff0c;形参的内存空间立即释放掉。 1.指针是存放其他变量地址的变量。指针有自己的内…

ECharts折线图去掉图例和线段上的小圆点

官方的初始效果 折线图的图例有小圆点&#xff0c;并且图表中也有小圆点 最终效果 去掉图例和图标中的小圆点 并且柱状图和折线图的图例要不同 代码实现 去掉图例小圆点 官方文档 itemStyle: { opacity: 0 } 折线图中的小圆点去掉 官方文档 两个代码二选一就行&#x…

设计模式04———桥接模式 c#

桥接模式&#xff1a;将一个事物从多个维度抽象出来&#xff0c;采用 分离 和 组合 的方式 替代 原本类的继承 桥接模式&#xff08;Bridge Pattern&#xff09;是一种软件设计模式&#xff0c;属于结构型模式&#xff0c;它用于将抽象部分与具体实现部分分离&#xff0c;以便它…

Jorani远程命令执行漏洞 CVE-2023-26469

Jorani远程命令执行漏洞 CVE-2023-26469 漏洞描述漏洞影响漏洞危害网络测绘Fofa: title"Jorani"Hunter: web.title"Jorani" 漏洞复现1. 获取cookie2. 构造poc3. 执行命令 漏洞描述 Jorani是一款开源的员工考勤和休假管理系统&#xff0c;适用于中小型企业…

EASYX实现多物体运动

eg1:单个物体运动使用easyx实现单个小球的运动 #include <stdio.h> #include <easyx.h> #include <iostream> #include <math.h> #include <stdlib.h> #include <conio.h> #include <time.h> #define PI 3.14 #define NODE_WIDTH 4…

API接口的定义|电商API接口的接入测试和参数说明【附代码实例教程】

一 . API接口的定义 API全称Application Programming Interface&#xff0c;即应用程序编程接口&#xff0c;是一些预先定义的函数&#xff0c;或指软件系统不同组成部分衔接的约定&#xff0c;用于传输数据和指令&#xff0c;使应用程序之间可以集成和共享数据资源。 简单来…

Android拖放startDragAndDrop拖拽onDrawShadow静态添加xml布局View,Kotlin(4)

Android拖放startDragAndDrop拖拽onDrawShadow静态添加xml布局View&#xff0c;Kotlin&#xff08;4&#xff09; import android.content.ClipData import android.graphics.Canvas import android.graphics.Point import android.os.Bundle import android.util.Log import a…

Jetson NX FFmpeg硬件编解码实现

最近在用Jetson Xavier NX板子做视频处理&#xff0c;但是CPU进行视频编解码&#xff0c;效率比较地下。 于是便考虑用硬解码来对视频进行处理。 通过jtop查看&#xff0c;发现板子是支持 NVENC硬件编解码的。 1、下载源码 因为需要对ffmpeg进行打补丁修改&#xff0c;因此需…

无需服务器内网穿透Windows下快速搭建个人WEB项目

&#x1f4d1;前言 本文主要是windows下内网穿透文章&#xff0c;如果有什么需要改进的地方还请大佬指出⛺️ 参考自&#xff1a;Windows搭建web站点&#xff1a;免费内网穿透发布至公网 &#x1f3ac;作者简介&#xff1a;大家好&#xff0c;我是青衿&#x1f947; ☁️博客首…

Java算法:二分查找

一、 二分查找注意 前提是数组必须是有序的&#xff0c;否则无法正常工作。如果数组不是有序的&#xff0c;需要先对数组进行排序&#xff0c;然后才能使用二分查找算法。 二、二分查找高效算法 二分查找也称为折半查找&#xff0c;是一种在有序数组中查找目标元素的算法。它的…

【嵌入式开发学习02】esp32cam烧录human_face_detect实现人脸识别

Ubuntu20.04系统为esp32cam烧录human_face_detect 1. 下载esp-dl2. 安装esp-idf3. 烧录human_face_detect 如果使用ubuntu 16.04在后续的步骤中会报错如下&#xff0c;因为ubuntu 16.04不支持glibc2.23以上的版本&#xff08;可使用strings /lib/x86_64-linux-gnu/libc.so.6 | …

护眼灯有没有护眼的效果?适合学生儿童的五款护眼台灯推荐

如果不想家里的孩子年纪小小的就戴着眼镜&#xff0c;从小就容易近视&#xff0c;那么护眼灯的选择就非常重要了&#xff0c;但是市场上那么多品类&#xff0c;价格也参差不齐&#xff0c;到底怎么选呢&#xff1f;大家一定要看完本期内容。为大家推荐最热门的五款护眼台灯。 1…

HTML、CSS和JavaScript,实现换肤效果的原理

这篇涉及到HTML DOM的节点类型、节点层级关系、DOM对象的继承关系、操作DOM节点和HTML元素 还用到HTML5的本地存储技术。 换肤效果的原理&#xff1a;是在选择某种皮肤样式之后&#xff0c;通过JavaScript脚本来加载选中的样式&#xff0c;再通过localStorage存储。 先来回忆…

Spring MVC (Next-1)

1.Restful请求 restFul是符合rest架构风格的网络API接口,完全承认Http是用于标识资源。restFul URL是面向资源的&#xff0c;可以唯一标识和定位资源。 对于该URL标识的资源做何种操作是由Http方法决定的。 rest请求方法有4种&#xff0c;包括get,post,put,delete.分别对应获取…

CRM系统数据库是如何影响客户体验的?

CRM客户关系管理由概念到软件实体&#xff0c;已经有几十年的时间&#xff0c;随着信息技术的进步&#xff0c;数字化让CRM软件乘上快车&#xff0c;迅速成为各类企业的数字化管理工具。CRM客户管理系统的一个重要功能便是改善并提升客户体验&#xff0c;且CRM数据库是与客户体…

【笔记】excel怎么把汉字转换成拼音

1、准备好excel文件&#xff0c;复制需要转拼音列。 2、打开一个空白Word文档&#xff0c;并粘贴刚才复制的内容&#xff1b; 3、全选Word文档中刚粘贴的内容&#xff0c;点击「开始」选项卡「字体」命令组下的「拼音指南」&#xff0c;调出拼音指南对话框&#xff1b; 4、全…

如何调整职场心态,提高工作表现

文章目录 介绍职场分析对比历年职场需求开发者地域分布开发者工作状态职场晋升之路 职场经验控制情绪保持好奇心提升核心能力 职场转行结论 介绍 职场中的心态调整对于我们在工作中表现的影响非常重要。作为一名全栈开发者&#xff0c;我深知在 AI 算法和云技能领域工作的挑战…

【生物信息学】单细胞RNA测序数据分析:计算亲和力矩阵(基于距离、皮尔逊相关系数)及绘制热图(Heatmap)

文章目录 一、实验介绍二、实验环境1. 配置虚拟环境2. 库版本介绍 三、实验内容0. 导入必要的库1. 读取数据集2. 质量控制&#xff08;可选&#xff09;3. 基于距离的亲和力矩阵4. 绘制基因表达的Heatmap5. 基于皮尔逊相关系数的亲和力矩阵6. 代码整合 一、实验介绍 计算亲和力…

云服务器 centos 部署 code-server 并配置 c/c++ 环境

将你的云服务器改为 centos 8 为什么要将云服务器的操作系统改成 centos 8 呢&#xff1f;原因就是 centos 7 里面的配置满足不了 code-server 的需求。如果你使用的是 centos 7 那么就需要你升级一些东西&#xff0c;这个过程比较麻烦。我在 centos 7 上面运行 code-server 的…