利用etcd实现分布式锁

python etcd3模块的lock使用

观察lock的加解锁影响

在python中已经自带了分布式锁的实现方式,下面我们尝试一下加锁与解锁的流程

在运行该demo同时也对lock对应的key进行watch,观察其变化,注意python-etcd3在实现分布式锁的时候,采用的key需要加上prefix:
在这里插入图片描述
在这里插入图片描述

结果如下:

当获取到锁的时候value改变,当release的时候锁value为空,此时cancel掉对当前key的watch
在这里插入图片描述

使用

下面的例子中,我们在程序1中先获取分布式锁,之后启动程序2进行尝试获取锁,根据is_acquired结果可知,没有获取成功。
在这里插入图片描述

注意,这里无论try-lock的key是不是和其他程序一样,都会失败

在这里插入图片描述

因为底层判断是否获取到锁,是看同目录下自己操作的revision是不是最小。而底层的目录都是/locks

实现学习

尽管etcd3模块集成了分布式锁,但是我们可以学习一下其实现方式,从而熟悉etcd的接口,以后可以借此组合出其他的应用。

我们需要依赖etcd的如下特性:

  • lease机制,为存储的kv设置租约,当租约到期,kv失效删除,同时也支持续租

  • revision机制,每一个key带有一个revision属性,etcd每进行一次事务,对应的全局revision都会+1,因此每个key对应的revision属性值都为全局唯一,比较revision大小可以知道写操作的顺序(需要验证一下)

    如下,我们顺序进行两次put操作:

import etcd3
import json
import time
etcd = etcd3.client(host='127.0.0.1', port=2379)

print(etcd.put('demo/key1', 'doot'))
print(etcd.put('demo/key2', 'doot'))
结果如下,可以看到revision也是递增的
header {
  cluster_id: 17237436991929493444
  member_id: 9372538179322589801
  revision: 71
  raft_term: 11
}

header {
  cluster_id: 17237436991929493444
  member_id: 9372538179322589801
  revision: 72
  raft_term: 11
}

  • 在实现分布式锁时,多个程序同时枪锁,根据revision值大小依次获得锁,避免惊群效应
  • prefix机制,根据前缀目录获取该目录下所有的key以及对应的属性(key、value、revision)
  • watch机制,watch某个key或者目录,当被watch的key或者目录发生变化,客户端收到通知

实现逻辑

1、客户端连接etcd,以lock/mylock为前缀创建全局唯一的key

假设第一个client对应的key为:key = lock/mylock/uuid1

第二个client对应的key为:key = lock/mylock/uuid2

每个客户端分别为自己的key创建lease,租约的ttl取决于业务耗时,这里假设为15s

2、创建定时任务作为续租的心跳

当一个client持有锁期间了,其他客户端只能等待,为了避免等待期间租约失效,客户端需要创建一个定时任务作为心跳进行续约。

若持有锁期间client崩溃,心跳停止,key会因为租约到期而被删除,从而锁释放,避免死锁

3、client将自己全局唯一的key写入etcd

进行put操作,将1中创建的key与lease绑定写入etcd。

根据revision机制,假设两个client的put操作返回的revision分别为1,2;客户端需要记录revision用以接下来判断自己是否获得锁

4、client判断是否获得锁

client以前缀lock/mylock读取kv列表,判断自己的key的revision是否为当前列表中最小的;

如果是,认为获得锁;

如果不是,监听列表中前一个revision比自己小的key的删除事件,一旦监听到删除事件或者因lease失效而删除的事件,则自己获得锁

5、执行业务

获得锁后,操作共享资源,执行业务代码

6、释放锁

完成业务流程后,删除对应的key,释放锁。

参考

http://www.xuyasong.com/?p=1789#_ETCD-2

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/30596.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【Python爬虫开发基础⑤】HTML概述与基本标签详解

专栏:python网络爬虫从基础到实战 欢迎订阅!近期还会不断更新~ 往期推荐: 【Python爬虫开发基础①】Python基础(变量及其命名规范) 【Python爬虫开发基础②】Python基础(正则表达式) 【Python爬…

探秘华为交换机:端口类型全解析

在下列情况下,判断的一般方法是什么? 1.交换机某个端口下的用户丢包。 2.交换机下的所有用户都在丢失数据包。 3、用户反映网速缓慢 检查网络电缆,重做水晶头,检查用户的计算机网卡,并重新启动交换机。 这几种做法都能…

Flink 学习五 Flink 时间语义

Flink 学习五 Flink 时间语义 1.时间语义 在流式计算中.时间是一个影响计算结果非常重要的因素! (窗口函数,定时器等) Flink 可以根据不同的时间概念处理数据。 处理时间: process time System.currentTimeMillis()是指执行相应操作的机器系统时间(也称为纪元时间…

Docker安全

一、Docker 容器与虚拟机的区别 1、隔离与共享 • 虚拟机通过添加 Hypervisor 层,虚拟出网卡、内存、CPU 等虚拟硬件,再在其上建立虚拟机,每个虚拟机都有自己的系统内核 • Docker容器则是通过隔离的方式,将文件系统、进程、设…

Redis入门 - Lua脚本

原文首更地址,阅读效果更佳! Redis入门 - Lua脚本 | CoderMast编程桅杆https://www.codermast.com/database/redis/redis-scription.html Redis 脚本使用 Lua 解释器来执行脚本。 Redis 2.6 版本通过内嵌支持 Lua 环境。执行脚本的常用命令为 EVAL。 …

Spark01-Spark快速上手、运行模式、运行框架、核心概念

1 概述 Spark和Hadoop Hadoop HDFS(GFS:TheGoogleFileSystem)MapReduce总结:性能横向扩展变得容易,横向拓展:增加更多的计算节点来扩展系统的处理能力Hbase:分布式数据库 Spark Spark CoreSpark SQLSQL 方言(HQL)Spark Streamin…

光伏电池局部遮阴下三种不同的工况对比MATLAB仿真模型

光伏电池局部遮阴下三种不同的工况对比MATLAB仿真模型及程序资源-CSDN文库https://download.csdn.net/download/weixin_56691527/87910311 模型简介: 建议使用MATLAB21b及以上版本打开! 光伏阵列表面被局部遮挡时会产生热斑效应。为了防止太阳电池因热…

【Matter】Matter学习笔记1

文章目录 前言Matter协议架构1.Matter Over IPV62.Matter协议架构3.Matter标准协议架构 Matter网络拓扑结构Mesh组网1.单一网络拓扑2.星形网络拓扑 设备数据模型(Date Model)1.设备和端点(Node、Endpoint)2.节点角色(N…

ADAudit Plus:保护企业内部IT安全的强大解决方案

随着企业数字化的推进,IT系统和数据安全变得比以往任何时候都更加重要。为了保护企业的机密信息和敏感数据,企业需要一种可靠的IT安全解决方案。在众多选项中,ADAudit Plus是一款备受赞誉的软件,为企业内部的IT安全提供了强大的支…

工业机器人运动学与Matlab正逆解算法学习笔记(用心总结一文全会)(二)

文章目录 机器人逆运动学※ 代数解、几何解,解析解(封闭解)、数值解的含义与联系○ 代数解求 θ 1 \theta_1 θ1​、 θ 2 \theta_2 θ2​、 θ 3 \theta_3 θ3​※参考资料 求解 θ 1 \theta_1 θ1​ 求解 θ 3 \theta_3 θ3​ 求解 θ 2 \t…

Unity核心7——2D动画

一、序列帧动画 (一)什么是序列帧动画 ​ 我们最常见的序列帧动画就是我们看的日本动画片,以固定时间间隔按序列切换图片,就是序列帧动画的本质 ​ 当固定时间间隔足够短时,我们肉眼就会认为图片是连续动态的&#…

【Java基础学习打卡11】Path环境变量的配置

目录 前言一、为什么配置环境变量二、如何配置环境变量三、JDK11的环境变量配置总结 前言 本文我们要知道为什么配置环境变量,自己思考不配置环境变量可以吗?JDK 11 如何配置环境变量。 一、为什么配置环境变量 原因很简单,就是方便命令的查…

1.5 掌握Scala内建控制结构(一)

一、条件表达式 (一)语法格式 if (条件) 值1 else 值2 (二)执行情况 条件为真,结果是值1;条件为假,结果是值2。如果if和else的返回结果同为某种类型,那么条件表达式结果也是那种…

【STM32MP135 - ST官方源码移植】第二章:TF-A源码移植教程

STM32MP135 TF-A源码移植教程 一、创建build.sh编译脚本(1)解压tf-a的源码压缩包(2)打补丁,获取stm32mp135的源码(3)设计编译脚本build.sh1、进入tf-a源码:2、创建build.sh脚本文件3…

HTTP协议,带你了解HTTP协议

目录 1、HTTP 协议介绍 2、HTTP 协议的工作过程 HTTP 协议的工作过程可以分为以下几个步骤: 3、Fiddler 抓包工具介绍 3.1 抓包工具的使用 3.2 抓包结果 3.3 抓包工具原理 4、HTTP 协议格式总览 5、HTTP 请求(Request) 5.1 认识 URL…

C#中List<T>的排序相关的使用方法总结

C#中List<>的排序相关的使用方法 list的排序一般使用Sort和LINQ的Orderby方法&#xff0c;本文主要介绍其如何使用。 &#x1f32e;1.Sort和实现Comparable接口 此方式需要类去实现IComparable接口 public class OrderTest {[Test]public void OraderTest(){List<E…

MySQL优化--undo log和redo log的区别

首先我们需要知道两个概念 缓冲池&#xff08;buffer pool&#xff09;:主内存中的一个区域&#xff0c;里面可以缓存磁盘上经常操作的真实数据&#xff0c;在执行增删改查操作时&#xff0c;先操作缓冲池中的数据&#xff08;若缓冲池没有数据&#xff0c;则从磁盘加载并缓存…

(写自己语言的练手级应用)JSON(JavaScript Object Notation) 产生式(BNF)

写自己的开发语言时&#xff0c;很多人都会拿JSON当第一个练习对象 开源net json FJSON 解析工具https://dbrwe.blog.csdn.net/article/details/107611540?spm1001.2014.3001.5502 <json> :: <object> | <array> <object> :: "{" [ <me…

操作系统 复习-计算题

一. 计算题&#xff08;共5题&#xff0c;100分&#xff09; 1.(计算题) 假设有4个进程需要在单CPU上运行&#xff0c;它们的执行时间如下表所示&#xff1a; 进程ID执行时间P18P25P32P44 现在我们需要按照抢占式优先级调度算法来安排这些进程的执行顺序。其中&#xff0c;进…

python代码加密方案

为何要对代码加密&#xff1f; python的解释特性是将py编译为独有的二进制编码pyc 文件&#xff0c;然后对pyc中的指令进行解释执行&#xff0c;但是pyc的反编译却非常简单&#xff0c;可直接反编译为源码&#xff0c;当需要将产品发布到外部环境的时候&#xff0c;源码的保护尤…