- 工程实践 - 《高并发系统正确性保障 - 锁的范式》

        本文属于专栏《构建工业级QPS百万级服务》系列简介-CSDN博客


        “锁”,在新华字段的解释是“加在门、箱子、抽屉等物体上的封缄器,要用专用的钥匙才能打开”。在计算机领域,可以抽象为:主体A,在物品W上,附加物品S(锁),让其他主体不能完整地使用

        所以我们在理解一个锁时,不管它是语言层面的如:C++、Java、Python,还是软件层面的如:数据库、内核,还是硬件层面的如:多核CPU。这些都可以抽象为上面这句话,只要理解的谁是主体A,谁是物品W,以及“不完整使用”到达什么程度,就能理解锁的作用。

        在计算机领域,锁的实现都是底层硬件支持,是通过缓存一致率协议,而该协议底层逻辑依然是“单写”。这很重要,不仅是计算机领域,在整个信息领域,要保证并发时数据不冲突,唯一的办法是,明确的界限内,只有单写。这个再深层的根本原因是,信息传递是有速度的。同理,如果信息传递是不需要时间的,且我们认为时间是离散的,那就不再需要锁,比如量子计算机,就是一个不需要锁的计算机,不过这不在我们讨论范围中。

        当理解了,锁的作用,以及锁的实现本质。计算机领域的一切锁,理解起来就十分轻松了。我会在软件层面、硬件层面举一些锁的例子,以及为了性能而添加的锁的附加工具。这里还有一个可以断言的,所有锁的附加工具,都是为了提高系统并发性能,注意这里的性能问题不是加锁和释放锁本身耗费资源太多,而是加锁之后业务代码持有时间太长,对其他线程阻塞导致的,以c++互斥锁为例,这个用户态的锁,在现代计算机,平均一次获取仅需要5-15ns。

       语言层的锁都是内核层的锁的封装,没有本质的区别,所以我们不再单独拿一个语言的锁来描述。软件层,我以内核和Mysql为例。

  • 内核层面:
    • 互斥锁:
      • 范式说明
        • 主体:线程
        • 物品:一个权限(用一个标识表示,如std::atomic_flag)
        • 不完整使用:一个主体获得该权限后,其他主体不再能获得
        • 附加解释:这里的权限,是业务逻辑的约定,比如约定获得这个权限的主体,可以修改变量a,那权限相应的命名为mutex_a。而这里的约定是编码者要遵守的,而不是编译器或者内核遵守的,也就是没有获取mutex_a的主体,修改a,编译器和内核都不会报错,但是这样的程序,运行起来,就像一个定时炸弹,随时出现意想不到的结果。
      • 作用:一个线程获取权限时,其他线程一定获取不了,且获取是同步阻塞的。注意这里阻塞时,会调用系统接口,把线程挂起
      • 常见附加工具
        • 条件变量
          • 场景:线程A获取锁,发现不满足处理条件,如果一直等待,那么线程B会阻塞。所以当不满足条件时,线程A释放锁,并将线程A挂起,当条件满足时,再将线程A放到 ready队列。
      • 实现:内核也是由硬件提供的原子操作集的指令支持
    • 读写锁:
      • 范式说明
        • 主体:线程
        • 物品:两个权限,共享权限,和独有权限(用两个标识表示,如两个原子变量)
        • 不完整使用:
          • 有主体“获取独有权限,或者已经发起独有权限申请”之后,其他主体不能获取共享权限
          • 没有主体“获取独有权限,或者已经发起独有权限申请”时,其他主体可以获取共享权限
          • 如果有主体A“获得了共享权限”,而主体B申请“获得独有权限”,需要等待A释放权限之后
        • 附加解释:读-写锁命名并不准确,这里要得不是读/写的权限,而是共享和独享的权限。
      • 作用:将权限分离,核心是在共享权限场景下,增加使用主体,从而增加了系统并行性
      • 实现:基于互斥锁,再加上内核提供接口支持,而内核也是由硬件提供的原子操作集的指令支持
    • 自旋锁:
      • 范式说明:与互斥锁完全一致。唯一的差别是互斥锁,获取不到时,线程被挂起等待通知。而自旋锁,是持续占有cpu,并尝试获取锁
  • Mysql数据库
    • 排他锁(排的是行/表/页/意向)
      • 范式说明
        • 主体:事务
        • 物品:行/表/页/意向的读写权限
        • 不完整使用:
          • 在读已提交的隔离级别下(Mysql默认隔离级别)。一个事务在获取“行/表/页/意向”锁之后,其他事务将不能读或写这段数据
        • 附加解释:这里和内核的互斥锁没有本质的区别。只是这里的权限,是行/表/页/意向的读写权,而内核中的权限是对一个标识的权限,而这个标识可以绑定可操作的任意的资源
      • 作用:一个事务执行时,阻止其他事务对指定数据的读写
    • 共享锁(享的是行/表/页/表中某个范围)
      • 范式说明
        • 主体:事务
        • 物品:行/表/页/意向的读写权限
        • 不完整使用:
          • 在读已提交的隔离级别下(Mysql默认隔离级别)。一个事务在获取“行/表/页/意向”锁之后,其他事务将不能写这段数据
        • 附加解释:这里可以理解为当前事务占有了,这部分数据的写权限,但没有占有读权限
  • 其他:
    • 乐观锁
      • 说明:乐观锁本质不是一把锁,而是“锁的方式”。核心思想是,主体先在数据A的副本上操作,操作完成判断有没有其他主体在过去一段时间也对数据A有操作,如果没有,就用副本替换原数据。这里要关注的是判断这个动作,是需要加锁的,无论是使用互斥锁,还是直接使用互斥锁的底层接口CAS,没有本质的区别,都是硬件层面提供的支持。
    • 无锁队列
      • 说明:部分语言或者三方库提供无锁队列,这里只是没有互斥锁,但是CAS是必须有的。所以所谓的无锁队列,多少有些噱头。还是那句话,多主体写,必须加锁,而保证锁的一致性,必须单写,所以性能也必受影响。

        前面描述了锁的作用,虽然锁的形态有所差异,但是基于这个范式,对作用的理解就不会有偏差。

        最后我们说说锁的实现。锁的支持来源于硬件层面,那硬件层面是如果支持锁的。硬件支持锁,本质就是,在CPU系统中,如何保证一个表示权限的变量,一定时间界限内,只被一个CPU核写入,且下一个CPU在写时,保证已经获取到最新的数值。那么这里有两个难点,怎么保证只有一个写,以及怎么保证每次写都是基于最新的值,这些都是缓存一致性协议完成的。

        缓存一致性本身是硬件层面的协议,它也经过几个版本的迭代,为了性能也迭代了规则。对于平时的软件开发,我们不需要去理解它所有的细节。只需要理解到,其核心思想是,当一个CPU核A写数据时,会广播信息告诉其他CPU,不要再写了,同时收集所有CPU中最新的值。等其他CPU反馈已经收到核A的信息后,核A才会基于最新的数据去写。而复杂,也是复杂在如何基于这个方式修改,提高性能,如果不是做这个层面的研究,倒是没有必要细枝末节都去熟悉。同样是分布式节点的一致性,对于软件开发者,花费精力去学习raft,倒是一个更划算的事。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/502404.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

web基础07-Vue

目录 一、Vue 1.概述 2.MVC与MVVM 3.快速入门 4.Vue工程的创建 (1)基于vue-cli (2)基于Vite(推荐) 5.Vue3核心语法 6.setup (1)概述 (2)返回值方式…

CTF题型 php://filter特殊编码绕过小汇总

CTF题型 php://filter特殊编码绕过小汇总 文章目录 CTF题型 php://filter特殊编码绕过小汇总特殊编码base64编码string过滤器iconv字符集 例题1.[Newstarctf 2023 week2 include]2.[Ctfshow web 117] php://filter 是一个伪协议,它允许你读取经过过滤器处理的数据流…

Java中的Object类解析与应用探究

作为一名对技术充满热情的学习者,我一直以来都深刻地体会到知识的广度和深度。在这个不断演变的数字时代,我远非专家,而是一位不断追求进步的旅行者。通过这篇博客,我想分享我在某个领域的学习经验,与大家共同探讨、共…

基于单片机自行车码表系统设计

**单片机设计介绍,基于单片机自行车码表系统设计 文章目录 一 概要二、功能设计三、 软件设计原理图 五、 程序六、 文章目录 一 概要 基于单片机自行车码表系统设计主要涵盖了硬件设计、软件设计以及功能实现等多个方面。以下是对该设计概要的详细描述&#xff1a…

Sql注入靶场环境搭建

文章目录 前言一、pandas是什么?二、使用步骤 1.引入库2.读入数据总结 前言 提示:这里可以添加本文要记录的大概内容: 例如:随着人工智能的不断发展,机器学习这门技术也越来越重要,很多人都开启了学习机器…

全国青少年软件编程(Python)等级考试三级考试真题2023年12月——持续更新.....

青少年软件编程(Python)等级考试试卷(三级) 分数:100 题数:38 一、单选题(共25题,共50分) 1.一个非零的二进制正整数,在其末尾添加两个“0”,则该新数将是原数的&#xf…

PS从入门到精通视频各类教程整理全集,包含素材、作业等(3)

PS从入门到精通视频各类教程整理全集,包含素材、作业等 最新PS以及插件合集,可在我以往文章中找到 由于阿里云盘有分享次受限制和文件大小限制,今天先分享到这里,后续持续更新 中级教程 https://www.alipan.com/s/unii5YxtM8B 提…

【计算机考研】408复习资料汇总+分享

王道对于当作408的参考书还是不错的 所以,矮子里面挑高个,大家将就一下算了,很多人说天勤的讲义也可以,只能说你去用一下试试就知道了,天勤除了数据结构的代码还可以,其他的比不过王道的资料。所以&#x…

视频监控联网平台的评价指标体系

目录 一、视频应用系统评价指标体系的设计思路 (一)、明确评价目标和原则 (二)、确定评价指标 (三)、收集和处理数据 (四)、建立评价模型 (五)、进行综…

Linux---命令行参数

一、命令行参数 在介绍命令行参数前,我想问大家一个问题,在以前写C/C时,main 函数可不可以带参数? 答案是可以带的,int main(int argc, char* argv[]){},但平时写代码时也证明了,main 函数的参…

Android客户端自动化UI自动化airtest从0到1搭建macos+脚本设计demo演示+全网最全最详细保姆级有步骤有图

iOS客户端自动化UI自动化airtest从0到1搭建macosdemo演示-CSDN博客 一、基础环境 1. 安装jdk 选择jdk8 如果下载高版本 可能不匹配会失败 下载.dmg文件 苹果电脑 | macOS | jdk1.8 | 环境变量配置_jdk1.8 mac-CSDN博客 Java Downloads …

德邦快递、物流上门取件,超过3kg,大件发德邦更优惠

“寄行李,出闲置物品,旅游寄特产”,发德邦; “家具、家电、机械设备等大件物品”,发德邦; “跨省或长距离的货物运输”,发德邦; “电商卖家,需要定期批量发货”,发德邦…

通过MobaXterm工具可视化服务器桌面

一、MobaXterm工具 MobaXterm是一款功能强大的远程连接工具,可以连接到各种类型的服务器,包括Linux、Windows和MacOS。支持多种协议,包括SSH、RDP、VNC和Telnet MobaXterm可以通过X11转发功能可视化服务器桌面。 二、MobaXterm工具可视化服务…

制作教程:如何制作一个可组合多种内容的二维码

二维码中如何放入图片和文字呢?现在我们经常需要通过扫码的方式,在手机上查看二维码中的内容,比如常见的类型有视频、图片、文件、文字、表单等类型。其中,一般在查看物品信息或者人员信息多以图文的形式来展示,那么图…

9.0-源码分析:Dubbo Remoting 层核心接口分析

dubbo-remoting 模块,该模块提供了多种客户端和服务端通信的功能。在 Dubbo 的整体架构设计图中,我们可以看到最底层红色框选中的部分即为 Remoting 层,其中包括了 Exchange、Transport和Serialize 三个子层次。这里我们要介绍的 dubbo-remot…

love 2d Lua 俄罗斯方块超详细教程

源码已经更新在CSDN的码库里: git clone https://gitcode.com/funsion/love2d-game.git 一直在找Lua 能快速便捷实现图形界面的软件,找了一堆,终于发现love2d是小而美的原生lua图形界面实现的方式。 并参考相关教程做了一个更详细的&#x…

javaWeb项目-学生考勤管理系统功能介绍

项目关键技术 开发工具:IDEA 、Eclipse 编程语言: Java 数据库: MySQL5.7 框架:ssm、Springboot 前端:Vue、ElementUI 关键技术:springboot、SSM、vue、MYSQL、MAVEN 数据库工具:Navicat、SQLyog 1、JAVA技术 JavaSc…

百度轨迹验证码识别代码分享

百度出了如图所示的验证码,需要拖动滑块,与如图所示的曲线轨迹进行重合。经过不断研究,终于解决了这个问题。我把识别代码分享给大家。 下面是使用selenium进行验证的,这样可以看到轨迹滑动的过程,如果需要使用js逆向…

MySQL Server 8.3.0 重要变更解析

MySQL Server 8.3.0 Innovation 版本是 MySQL 8.x 系列最后一个创新版本,下个月即将迎来 MySQL 8.4.0 LTS 长期支持版本。 关于发版模型变更,在之前的文章 重磅!MySQL 8.1.0 已来! 中已有所介绍。 这里补充一点,对于 M…

国家发改委特许经营方案对公共数据运营的思考

数据交易所自贵州大数据交易所成立以来,已经有无数数据交易所像春笋一样在中华大地冒出来。随着国家数据局的成立、数据要素二十条的发布,各地数据交易所开启了竞赛机制,在数据体量、数商数量、交易规模等指标展开博弈。 公共数据运营是否会马…