Redis 分布式锁

什么是分布式锁

在一个分布式的系统中,也会涉及到多个节点访问同一个公共资源的情况。此时就需要通过锁来做互斥控制,避免出现类似于“线程安全”的问题。

而 java 的 synchronized 或者 C++ 的 std::mutex,这样的锁都是只能在当前进程中生效,在分布式的这种多个进程多个主机的场景下就无能为力了。

此时就需要使用到分布式锁。

本质上就是使用一个公共的服务器,来记录加锁状态。

这个公共的服务器可以是 Redis,也可以是其他组件(比如 MySQL 或者 ZooKeeper 等),还可以是我们自己写的一个服务。

分布式锁的基础实现

思路非常简单,本质上就是通过一个键值对来标识锁的状态。

举个例子:考虑买票的场景,现在车站提供了若千个车次,每个车次的票数都是固定的。现在存在多个服务器节点,都可能需要处理这个买票的逻辑:先查询指定车次的余票,如果余票>0,则设置余票值 -= 1。

显然上述的场景是存在"线程安全"问题的,需要使用锁来控制,否则就可能出现"超卖"的情况。

此时如何进行加锁呢?

我们可以在上述架构中引入一个 Redis,作为分布式锁的管理器。

此时,如果买票服务器 1 尝试买票,就需要先访问 Redis,在 Redis 上设置一个键值对比如 key 就是车次,value 随便设置个值(比如 1)。

如果这个操作设置成功,就视为当前没有节点对该 001 车次加锁就可以进行数据库的读写操作,操作完成之后,再把 Redis 上刚才的这个键值对给删除掉。

如果在买票服务器 1 操作数据库的过程中,买票服务器 2 也想买票也会尝试给 Redis 上写一个键值对 key 同样是车次。但是此时设置的时候发现该车次的 key 已经存在了,则认为已经有其他服务器正在持有锁,此时服务器 2 就需要等待或者暂时放弃。

Redis 中提供了 setnx 操作,正好适合这个场景。即:key 不存在就设置,存在则直接失败

引入过期时间

当服务器 1 加锁之后,开始处理买票的过程中,如果服务器 1 意外宕机了,就会导致解锁操作(删除该 key)不能执行,就可能引起其他服务器始终无法获取到锁的情况。

为了解决这个问题,可以在设置 key 的同时引入过期时间,即这个锁最多持有多久,就应该被释放

可以使用 set ex nx 的方式,在设置锁的同时把过期时间设置进去

注意!此处的过期时间只能使用一个命令的方式设置

如果分开多个操作,比如 setnx 之后,再来一个单独的 expire,由于 Redis 的多个指令之间不存在关联,并且即使使用了事务也不能保证这两个操作都一定成功,因此就可能出现 setnx 成功,但是 expire失败的情况.

此时仍然会出现无法正确释放锁的问题

引入校验 id

对于 Redis 中写入的加锁键值对,其他的节点也是可以删除的。

比如服务器 1 写入一个 “001":1 这样的键值对,服务器 2 是完全可以把 “001” 给删除掉的。当然,服务器 2 不会进行这样的“恶意删除”操作,不过不能保证因为一些 bug 导致服务器 2 把锁误删除。

为了解决上述问题,我们可以引入一个校验 id。

比如可以把设置的键值对的值,不再是简单的设为一个 1,而是设成服务器的编号。形如"001":“服务器1”。

这样就可以在删除 key(解锁)的时候,先校验当前删除 key 的服务器是否是当初加锁的服务器,如果是才能真正删除;不是,则不能删除

逻辑用伪代码描述如下:

String key = [要加锁的资源 id];
String serverId = [服务器的编号];
//  加锁, 设置过期时间为 10s 
redis.set(key, serverId, "NX", "EX", "10s");
// 执⾏各种业务逻辑, ⽐如修改数据库数据.  
doSomeThing();

// 解锁, 删除key. 但是删除前要检验下 serverId 是否匹配.  
if (redis.get(key) == serverId) {
 	redis.del(key);
 }

但是很明显,解锁逻辑是两步操作"get"和"del",这样做并非是原子的.

引入lua

为了使解锁操作原子可以使用 Redis 的 Lua 脚本功能

Lua 的语法类似于 JS,是一个动态弱类型的语言。Lua 的解释器一般使用 C 语言实现。Lua 语法简单精炼,执行速度快,解释器也比较轻量(Lua 解释器的可执行程序体积只有 200KB 左右).

因此 Lua 经常作为其他程序内部嵌入的脚本语言,Redis 本身就支持 Lua 作为内嵌脚本。

很多程序都支持内嵌脚本,比如 MySQL8 支持 JS 作为内嵌脚本,比如 Vim 支持 VimScript 和 Python 作为内嵌脚本…通过内嵌脚本来实现更复杂的功能,提供更强的扩展性

Lua 除了和 Redis 搭伙之外,在很多场景也会作为内嵌脚本,比如在游戏开发领域常常作为编写逻辑的语言.(比如魔兽世界,大话西游等)

使用 Lua 脚本完成上述解锁功能

if redis.call('get',KEYS[1]) == ARGV[1] then 
	return redis.call('del',KEYS[1]) 
else 
	return 0 
end;

上述代码可以编写成一个 .lua 后缀的文件,由 redis-cli 或者 redis-plus-plus 或者 jedis 等客户端加载,并发送给 Redis 服务器,由 Redis 服务器来执行这段逻辑。

一个 lua 脚本会被 Redis 服务器以原子的方式来执行。

引入 watch dog(看门狗)

上述方案仍然存在一个重要问题。当我们设置了 key 过期时间之后(比如 10s),仍然存在一定的可能性,当任务还没执行完,key 就先过期了。这就导致锁提前失效。

把这个过期时间设置的足够长,比如 30s,是否能解决这个问题呢?很明显,设置多长时间合适,是无止境的。即使设置再长,也不能完全保证就没有提前失效的情况。

而且如果设置的太长了,万一对应的服务器挂了,此时其他服务器也不能及时的获取到锁。

因此相比于设置一个固定的长时间,不如动态的调整时间更合适。

所谓 watch dog,本质上是加锁的服务器上的一个单独的线程,通过这个线程来对锁过期时间进行“续约"。

这个线程是业务服务器上的,不是 Redis 服务器的

举个具体的例子:

初始情况下设置过期时间为 10s,同时设定看门狗线程每隔 3s 检测一次

那么当 3s 时间到的时候,看门狗就会判定当前任务是否完成

  • 如果任务已经完成,则直接通过 lua 脚本的方式,释放锁(删除 key).
  • 如果任务未完成,则把过期时间重写设置为 10s.(即“续约”)

这样就不担心锁提前失效的问题了。而且另一方面,如果该服务器挂了,看门狗线程也就随之挂了,此时无人续约,这个 key 自然就可以迅速过期,让其他服务器能够获取到锁了

引入 Redlock 算法

实践中的 Redis 一般是以集群的方式部署的(至少是主从的形式,而不是单机)那么就可能出现以下比较极端的大冤种情况:

服务器 1 向 master 节点进行加锁操作。这个写入 key 的过程刚刚完成,master 挂了;slave 节点升级成了新的 master 节点。但是由于刚才写入的这个 key 尚未来得及同步给 slave 呢,此时就相当于服务器 1 的加锁操作形同虚设了,服务器 2 仍然可以进行加锁(即给新的 master 写入 key,因为新的 master 不包含刚才的 key)

为了解决这个问题,Redis 的作者提出了 Redlock 算法

我们引入一组 Redis 节点其中每一组 Redis 节点都包含一个主节点和若于从节点并且组和组之间存储的数据都是一致的,相互之间是"备份"关系(而并非是数据集合的一部分,这点有别于 Redis cluster)

加锁的时候,按照一定的顺序,写多个 master 节点在写锁的时候需要设定操作的"超时时间"比如 50ms。即如果 setnx 操作超过了 50ms 还没有成功就视为加锁失败。

在这里插入图片描述

如果给某个节点加锁失败,就立即再尝试下一个节点。当加锁成功的节点数超过总节点数的一半,才视为加锁成功

如上图,一共五个节点,三个加锁成功,两个失败,此时视为加锁成功.

这样的话,即使有某些节点挂了,也不影响锁的正确性

那么是否可能出现上述节点都同时遇到了“大冤种”情况呢?

理论上这件事是可能发生的,但是概率太小了工程上就可以忽略不计了

同理,释放锁的时候,也需要把所有节点都进行解锁操作.(即使是之前超时的节点,也要尝试解锁,尽量保证逻辑严密)

失败,此时视为加锁成功.

这样的话,即使有某些节点挂了,也不影响锁的正确性

那么是否可能出现上述节点都同时遇到了“大冤种”情况呢?

理论上这件事是可能发生的,但是概率太小了工程上就可以忽略不计了

同理,释放锁的时候,也需要把所有节点都进行解锁操作.(即使是之前超时的节点,也要尝试解锁,尽量保证逻辑严密)

简而言之,Redlock 算法的核心就是,加锁操作不能只写给一个 Redis 节点,而要写个多个!! 分布式系统中任何一个节点都是不可靠的最终的加锁成功结论是“少数服从多数的”。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/410293.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

leetcode-hot100-双指针

剪枝,减少不必要的计算 283. 移动零 示例 1: 输入: nums [0,1,0,3,12] 输出: [1,3,12,0,0] 示例 2: 输入: nums [0] 输出: [0] 请注意 ,必须在不复制数组的情况下原地对数组进行操作。 第一印象:使用一个辅助数组,同时以…

el-submenu is-opened 展开/闭合;el-submenu is-opened保持一个子菜单的展开控制

写了个mes系统目录 点击子菜单展开后&#xff0c;上一级菜单没有默认关闭。主流后台管理系统大部分都是保持一个子菜单关闭状态、 问度娘无果后&#xff0c;查询官网&#xff0c;一个属性搞定。 unique-opened 是否只保持一个子菜单的展开 加在 <el-menu 组件上即可 完整代…

react中修改state中的值无效?

// 初始化state state {personArr:[{name:张三,id:1},{name:李四,id:2},{name:王五,id:3}] }componentDidMount(){const newName 赵六const indexUpdate 1const newArr this.state.personArr.map((item,index)>{if(indexUpdate index){return {...item,name:newName}}e…

Java 过滤器深入了解学习

Java 过滤器深入了解学习 生活不能等待别人来安排&#xff0c;要自己去争取和奋斗&#xff1b;而不论其结果是喜是悲&#xff0c;但可以慰藉的是&#xff0c;你总不枉在这世界上活了一场。有了这样的认识&#xff0c;你就会珍重生活&#xff0c;而不会玩世不恭&#xff1b;同时…

Netty权威指南——基础篇1(同步阻塞IO-BIO)

1 Linux网络I/O模型简介 1.1 简述 Linux的内核将所有外部设备都看做一个文件来操作&#xff0c;对一个文件的读写操作会调用内核提供的命令&#xff0c;返回一个file descriptor(fd&#xff0c;文件描述符)。而对一个socket的读写也会有相应的描述符&#xff0c;称为socketfd(…

SpringBoot原理篇

文章目录 SpingBoot原理1. 配置优先级2. Bean管理2.1 获取Bean2.2 Bean作用域2.3 第三方Bean 3. SpringBoot原理3.1 起步依赖3.2 自动配置3.2.1 概述3.2.2 常见方案3.2.2.1 概述3.2.2.2 方案一3.2.2.3 方案二 3.2.3 原理分析3.2.3.1 源码跟踪3.2.3.2 Conditional 3.2.4 案例3.2…

深入探究Nginx的使用方法

目录 引言 一、网络状态页 二、Nginx 第三方模块 三、变量 &#xff08;一&#xff09;内置变量 &#xff08;二&#xff09;自定义变量 四、自定义日志 &#xff08;一&#xff09;有关日志的配置信息 &#xff08;二&#xff09;error日志的设置 1.日志的等级 2.自…

怎么样避免被企业裁掉呢?

在当前经济环境下&#xff0c;许多企业纷纷选择裁员以降低成本、提升效益。面对这一现象&#xff0c;员工如何避免成为裁员风波中的牺牲品呢&#xff1f;本文将从多个角度为您提供应对策略。 首先&#xff0c;要了解企业裁员的背景和原因。金融危机、行业变革、市场竞争等外部…

第十篇【传奇开心果系列】Python的文本和语音相互转换库技术点案例示例:Microsoft Azure开发语音翻译应用程序经典案例

传奇开心果博文系列 系列博文目录Python的文本和语音相互转换库技术点案例示例系列 博文目录前言一、雏形示例代码二、扩展思路介绍三、Azure多语种支持示例代码四、Azure实时对话模式示例代码五、Azure自定义翻译模型示例代码六、Azure语音合成示例代码七、Azure用户界面优化示…

接口自动化测试用例如何设计

说到自动化测试&#xff0c;或者说接口自动化测试&#xff0c;多数人的第一反应是该用什么工具&#xff0c;比如&#xff1a;Python Requests、Java HttpClient、Apifox、MeterSphere、自研的自动化平台等。大家似乎更关注的是哪个工具更优秀&#xff0c;甚至出现“ 做平台的 &…

如果发现某个地方太薄了想要加厚怎么办?

Q 做完模型后&#xff0c;发现斧头柄部太薄了想要加厚怎么办&#xff1f; A 使用圆形套索区域&#xff0c;选中点 然后左视图&#xff0c;选择缩放&#xff0c;横向拉宽即可

c# 广度优先搜索(Breadth-First Search,BFS)

在这篇文章中我将讨论用于树和图的两种遍历机制之一。将使用 C# 示例介绍广度优先搜索 (BFS)。图是最具挑战性和最复杂的数据结构之一。 广度优先搜索的工作原理&#xff1a;广度优先搜索 &#xff08;BFS&#xff09;是一种探索树或图的方法。在 BFS 中&#xff0c;您首先探索…

实战 vue3 使用百度编辑器ueditor

前言 在开发项目由于需求vue自带对编辑器不能满足使用&#xff0c;所以改为百度编辑器&#xff0c;但是在网上搜索发现都讲得非常乱&#xff0c;所以写一篇使用流程的文章 提示&#xff1a;以下是本篇文章正文内容&#xff0c;下面案例可供参考 一、下载ueditor编辑器 一个“…

好书推荐丨细说Python编程:从入门到科学计算

文章目录 写在前面Python简介推荐图书内容简介编辑推荐作者简介 推荐理由粉丝福利写在最后 写在前面 本期博主给大家推荐一本Python基础入门的全新正版书籍&#xff0c;对Python、机器学习、人工智能感兴趣的小伙伴们快来看看吧~ Python简介 Python 是一种广泛使用的高级、解…

基于插件实现RabbitMQ“延时队列“

1.官网下载 在添加链接描述下载rabbitmq_delayed_message_exchange 插件,本文以v3.10.0为例 1.1.上传安装包 scp /Users/hong/资料/rabbitmq_delayed_message_exchange-3.10.0.ez root10.211.55.4:/usr/local/software1.2.将文件移入RabbitMQ的安装目录下的plugins目录 m…

数学建模【插值与拟合】

一、插值与拟合简介 在数学建模过程中&#xff0c;通常要处理由试验、测量得到的大量数据或一些过于复杂而不便于计算的函数表达式&#xff0c;针对此情况&#xff0c;很自然的想法就是&#xff0c;构造一个简单的函数作为要考察数据或复杂函数的近似。插值和拟合就可以解决这…

【愚公系列】2024年02月 大数据教学课程 017-Hadoop环境配置

&#x1f3c6; 作者简介&#xff0c;愚公搬代码 &#x1f3c6;《头衔》&#xff1a;华为云特约编辑&#xff0c;华为云云享专家&#xff0c;华为开发者专家&#xff0c;华为产品云测专家&#xff0c;CSDN博客专家&#xff0c;CSDN商业化专家&#xff0c;阿里云专家博主&#xf…

FPGA 与 数字电路的关系 - 这篇文章 将 持续 更新 :)

先说几个逻辑&#xff1a;&#xff08;强调一下在这篇文章 输入路数 只有 1个或2个&#xff0c;输出只有1个&#xff0c;N个输入M个输出以后再说&#xff09; 看下面的几个图&#xff1a; 图一&#xff08; 忘了 这是 啥门&#xff0c;不是门吧 &#xff1a;&#xff09;也就…

【好书推荐-第五期】《Java开发坑点解析:从根因分析到最佳实践》(异步图书出品)

&#x1f60e; 作者介绍&#xff1a;我是程序员洲洲&#xff0c;一个热爱写作的非著名程序员。CSDN全栈优质领域创作者、华为云博客社区云享专家、阿里云博客社区专家博主、前后端开发、人工智能研究生。公粽号&#xff1a;程序员洲洲。 &#x1f388; 本文专栏&#xff1a;本文…

I/O流(C++)

输入输出操作是程序中必不可少的操作&#xff0c;通过输入输出可以完成程序和外界的交互。 C语言支持两种I/O操作&#xff1a; &#xff08;1&#xff09;从C语言继承来的I/O函数输入输出语句&#xff1a;scanf()、printf()函数 &#xff08;2&#xff09;面向对象的I/O流类…