什么是MVCC?看看它的实现原理

大家好,我是归思君~

之前在讲 MySQL 事务隔离性提到过,对于写操作给读操作的影响这种情形下发生的脏读、不可重复读、虚读问题,是通过MVCC 机制来进行解决的,那么MVCC到底是如何实现的,其内部原理是怎样的呢?我们要抓住三个方面:记录中的4个隐藏字段、undo log 和 read view。

一、MVCC 定义和解决的读问题

1. 事务并发一致性的读问题

脏读(Dirty Read)

脏读也就是当前事务读取到了其他事务还未提交的数据。我们举个例子来看看:

Timesession Asession B
1-设置当前会话事务隔离级别为:读未提交 set session transaction isolation level read uncommitted;
2-设置当前会话事务隔离级别为:读未提交 set session transaction isolation level read uncommitted;
3start transaction; select * from account;
4start transaction; select * from account; update account set user_name = '孙七' where id = 6;
5select * from account; 查询到了session B 中还没有提交的数据
不可重复读(Non-Repeatable Read)

不可重复读是两次读取的结果不相同,和脏读的区别就是不可重复读读到了其他事务提交后的数据。

举个实例来看看:

Timesession Asession B
1-设置当前会话事务隔离级别为:读已提交 set session transaction isolation level read committed;
2-设置当前会话事务隔离级别为:读已提交 set session transaction isolation level read committed;
3start transaction; select * from account;
4start transaction; select * from account; update account set user_name='赵赵' where id = 1; -此时已经发生修改 select * from account;
5select * from account;
6commit;
7select * from account;对于未提交的事务,查询不到。相对于前一个隔离级别,杜绝了未提交事务修改对另外会话的影响。一旦另外的会话提交后,在进行查询时,会查出相应的修改。即在一个完整会话中,前后查询不同。
虚读(Phantom)

所谓虚读,也就是根据某些搜索条件先后查询数据库,发现两次查询结果条数不同。和不可重复读的区别就是不可重复读的条数没有变化,虚读条数因为修改操作造成了条数变化。

下面举个实例来说明:

Timesession Asession B
1-设置当前会话事务隔离级别为:可重复读 set session transaction isolation level repeatable read; select @@transaction_isolation;
2-设置当前会话事务隔离级别为:可重复读 set session transaction isolation level repeatable read; select @@transaction_isolation;
3start transaction; select * from account;
4start transaction; select * from account; insert into account values(7,'刘八',100); -此时已经发生修改 select * from account;
5select * from account;
6commit;
7select * from account; insert into account values(7,'刘八',100);虽然此时查询全表没有发现新的数据,但是这个时候插入和session B 中相同的插入语句却提示存在一条 key = 7 的语句,说明 session B 的操作确实影响到了 session A 。 这就是虚读

2.MVCC的定义

全称叫 Multi-Version Concurrency Control 的多版本并发控制。也就是指“维持一个数据的多个版本,使得读写操作没有冲突”。

在说明 MVCC 原理前,先了解一下 InnoDB 的当前读和快照读:

当前读

当前读,也就是它读取的是记录的最新版本,而且还要保证其他并发事务不能修改当前记录,实现方式是对读取记录进行加锁。比如下面给出的都是当前读

#共享锁
select lock in share mode;
select for update;
#排他锁
update
insert
delete
快照读

快照读是一种基于多版本并发控制(MVCC)的不加锁读取形式,由于多版本控制,使得快照读读到的可能不是数据的最新版本。比如不加锁的select 操作就是快照读。

二、MVCC 实现原理

1. 记录的三个隐藏字段

对于InnoDB 存储引擎来说,它的每条聚簇索引记录中都包含有以下三个隐藏字段:

  • row_id:隐藏主键。如果该数据表中没有设置主键,就会自动生成一个6字节的row_id
  • roll_pointer:回滚指针。 指向旧版本的 undo 日志
  • trx_id:最近修改记录的事务ID。记录创建这条记录或者最后一次修改该记录的事务ID

如图所示,row_id 表示该记录生成的唯一隐式主键;trx_id 表示当前操作该记录的事务ID;roll ptr 是指向上一版本的 undo 日志的地址。

2. undo 日志

undo log 就是回滚日志,之前在事务的原子性中介绍过,它是保证事务原子性的机制。undo 日志保存的只有 insertdeleteupdate这些修改记录的操作。下面举个例子来帮助理解 undo log 的执行流程:

  • 1.有一个事务编号为1 的事务向数据表中插入一条记录,此时事务的状态是:

    • row_id:隐藏主键为1
    • trx_id:创建该记录的事务ID
    • roll ptr:其上个版本的 undo 日志为空
  • 2.第二个事务编号为2的事务对该记录进行修改,将name 字段的 ethan 改为 bob。此时的操作有:

    • 修改数据时,数据库会对该行加排他锁
    • 把该行数据拷贝一份到 undo log 中
    • 拷贝完成后,再修改该记录name 字段的 ethan 为 bob、修改隐藏字段的事务ID 为2,回滚指针指向拷贝到 undo log 的记录。
    • 事务提交后释放排他锁

  • 3.若第三个事务ID 为 3 对记录的age 字段进行了修改,将 20 修改为 18,则会出现:

    • 事务3修改记录时,数据库对该行加排他锁
    • 数据库将该行数据拷贝到 undo log 中
    • 拷贝完毕后将该记录字段的 age 改成 18。修改隐藏事务ID 为 3,回滚指针指向上个版本的地址
    • 事务提交后释放锁

从第二次我们会发现,undo log 中会出现多个版本的日志。这就是版本链。链首是最新的旧记录,链尾是最早的旧记录。

3. ReadView(读视图)

ReadView 定义

ReadView 是事务进行快照读那一刻,生成的一个数据系统当前的快照,记录并维护当前活跃事务的id,并且这个 ID 值是递增的。ReadView 的作用就是用来做可见性判断,记录当前事务执行快照读时,创建的ReadView 能够看到哪些版本的数据。

那么是ReadView 是怎么判断的呢?

ReadView 版本可见性判断规则

在ReadView 视图中主要有四个重要的属性:

  • trx_list: 一个数值列表,当前系统活跃的读写事务的事务id 列表
  • min_trx_id: trx_list 中最小的事务id,trx_list 中的最小值
  • max_trx_id: 不是trx_list 的最大值,它是指系统应该分配给下一事务的事务id
    • 比如现在 trx_list 中有id 为1、2、3、4的事务,那么max_trx_id 的值就是5
  • creator_trx_id:生成该 ReadView 事务的事务ID

在访问某条记录时,只需要按照下面的步骤来判断记录的某个版本是否可见:

  • 1.(trx_id == creator_trx_id)若被访问版本的trx_id值与当前 ReadView 中的 creator_trx_id 相同,也就是说当前事务在访问它自己修改过的记录,该版本可以被当前事务访问。
  • 2.(trx_id < min_trx_id)若被访问版本的trx_id 值小于 ReadView 的 min_trx_id 值,表明生成该版本的事务在当前事务生成ReadView 以前已经提交,该版本可以被当前事务访问。
  • 3.(trx_id >=max_trx_id)若被访问版本的trx_id 值大于或等于 ReadView 中的 max_trx_id ,表明生成该版本的事务在当前事务生成 ReadView 后才开启,该版本可以被当前事务访问。
  • 4.(min_trx_id <trx_id < max_trx_id)若被访问版本的trx_id 值介于 ReadView 的 min_trx_idmax_trx_id 值之间,需要判断trx_id 属性值是否存在 trx_list
    • 如果存在,说明创建 ReadView 时生成该版本的事务还是活跃的,该版本不可以被访问
    • 如果不存在,说明创建 ReadView 时生成该版本的事务已经被提交,因此该版本可以被访问

如果某个版本的数据对当前事务是不可见的,那就顺着版本链找到下一个版本数据,继续执行上面的步骤来判断记录的可见性,依次类推。知道版本中的最后一个版本。如果记录的最后一个版本也不可见,意味着该条记录对当前事务完全不可见,查询结果就不包含该记录。

举例

下面让我们来看看 MVCC 实现的具体流程是怎样的,如下表是事务ID 为2 的事务对某行数据执行了快照读,其中的列表如下:

事务1事务2事务3事务4
事务开始事务开始事务开始事务开始
修改且已提交
进行中快照读进行中

那么此时ReadView 的参数值为:

  • trx_list:事务1、2、3
  • min_trx_id:事务1
  • max_trx_id:事务5
  • creator_trx_id:事务2

以事务4 版本为例,我们经过上述规则来比较看当前ReadView 能否看见事务4版本的数据:

  • 经比较,只有第四条规则满足。此时trx_id 的值是介于min_trx_idmax_trx_id 之间,但是不在 trx_list 中,因此经判断该事务已经提交。所以该版本可以被访问。

其实这个规则很好理解,在活跃事务列表里面的,意味还没有提交,除了创建ReadView 的当前事务,其他的事务都不可见。不在列表里面的说明都已经提交,自然可以看见。如下图除了黄色和红色不可见,其他的版本都可见。

三、MVCC 如何解决脏读、不可重复读和虚读

首先回顾一下MySQL的事务隔离级别中的视图

  • 读未提交(RU):它是直接返回记录的最新值,没有视图
  • 读已提交(RC):每次查询都会创建一个ReadView
  • 可重复读(RR):这个ReadView是在事务启动时创建,整个事务存在期间都用这个ReadView
  • 串行化(serializable):直接用加锁的方式来避免并行访问

1.MVCC 解决脏读

在读已提交的MVCC 中,每次查询都会创建一个 ReadView 。由于版本控制的可见性规则,使得当前事务只看的到已经提交的数据,所以这样就避免了看见未提交的数据,从而解决了脏读。

2.MVCC 解决不可重复读

因为RC 级别每次查询都会创建一个 ReadView ,所以对于已提交的事务,由于不能共用一个ReadView ,还是会造成两次读取过程中的不可重复读。所以RR 级别通过使用从启动到结束使用一个 ReadView, 来解决提交两次查询读取不一致的现象。

3.MVCC 到底能不能解决虚读?

先说结论:MVCC可以解决“快照读”,无法解决“当前读”

MVCC 可以解决“快照读”

MVCC 可以解决如不加锁的select。原理就是MVCC 使用快照来控制版本数据读取的范围,从而在 RR 级别避免了虚读。在我上面讲虚读的举例就说明了,在select 快照读时,没有发现新的数据。但是新插入同样的数据却报错,说明MVCC 无法彻底解决虚读。

MVCC 无法解决“当前读”

如果在select 上加锁,使用“当前读”,虚读还是会出现。所以真正要解决虚读,还是得用加锁的形式来解决。所以一般而言,也只有串行化级别才能真正解决虚读。

参考资料

https://www.cnblogs.com/kismetv/p/10331633.html

https://pdai.tech/md/db/sql-mysql/sql-mysql-mvcc.html

https://time.geekbang.org/column/article/68963

https://blog.csdn.net/qq_35590091/article/details/107734005

《MySQL是怎样运行的-从根儿上理解MySQL》

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/246835.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Idea执行bat使用maven打包springboot项目成docker镜像并push到Harbor

如果执行以下命令失败&#xff0c;先把mvn的-q参数去掉&#xff0c;让错误输出到控制台。 《idea配置优化、Maven配置镜像、并行构建加速打包、解决maven打包时偶尔几个文件没权限的问题》下面的使用company-repo私有仓库和阿里云镜像仓库同时使用的配置参考。 bat echo off …

四六级高频词组10

目录 词组 其他链接 词组 401. instead of &#xff08;in place of&#xff09; 代替&#xff0c;而不是… 402. instruct…in &#xff08;teach&#xff09; 教。指导。训练某人… 403. insure…for 把…保险&#xff08;多少钱&#xff09;&#xff1b; ensure 使安全…

状态码及常用注解

状态码 1.200 请求成功 2.404 请求资源不存在 检查请求路径 3.400 表示请求参数不合法(页面上参数的key和controller方法参数名字不一致、传的参数数量不对应) 4.405 表示请求方式与接收方式不匹配 5.500 程序报错检查java代码和控制台日志 6.403 表示没有权限访问 MVC常…

web网络安全

web安全 一&#xff0c;xss 跨站脚本攻击(全称Cross Site Scripting,为和CSS&#xff08;层叠样式表&#xff09;区分&#xff0c;简称为XSS)是指恶意攻击者在Web页面中插入恶意javascript代码&#xff08;也可能包含html代码&#xff09;&#xff0c;当用户浏览网页之时&…

国际语音通知系统有哪些应用场景?

国际语音通知系统操作简单、安全性高、实用性强&#xff0c;可广泛应用于国际航空、国际银行、出海游戏、跨国旅游、跨国金融等行业。 1.会议通知 企业人事管理人员使用语音通知的方式&#xff0c;快速通知参会人员。 2.订单通知 企业通过语音通知向客户发送订单确认通知&a…

RCE漏洞基础及CTF绕过

1.漏洞成因 可以对系统命令执行函数和调用代码函数传递的值进行控制。 2.系统执行命令函数 system() exec() exec会执行系统命令&#xff0c;保存回显最后一行而且单exec不输出结果 shell_exec() 不会输出结果&#xff0c;保存所有回显 passthru() 和system一样 popen() …

STM32F407-14.3.2-03 中心对齐模式

中心对齐模式&#xff08;递增/递减计数&#xff09; 在中心对齐模式下&#xff0c;计数器从 0 开始计数到自动重载值&#xff08;TIMx_ARR 寄存器的内容&#xff09;— 1&#xff0c;生成计数器上溢事件&#xff1b;然后从自动重载值开始向下计数到 1 并生成计数器下溢事件。之…

LLM(七)| Mamba:LLM新架构的浅探

目前大型语言模型&#xff08;LLM&#xff09;领域发展如火如荼&#xff0c;本文将重点探索在单个消费级GPU上可以有效运行的小型模型&#xff08;≤7B个参数&#xff09;。 我们将从以下几个方面重点介绍基于新架构的语言模型&#xff1a;&#x1f40d;Mamba模型&#xff08;h…

HTTP 302错误:临时重定向

在Web开发中&#xff0c;HTTP状态码是用于表示Web服务器响应的各种状态。其中&#xff0c;HTTP 302错误表示临时重定向&#xff0c;这意味着请求的资源已被临时移动到其他位置&#xff0c;并且服务器已经提供了新的URL&#xff0c;以便客户端可以重新发送请求。 了解HTTP 302错…

「Verilog学习笔记」RAM的简单实现

专栏前言 本专栏的内容主要是记录本人学习Verilog过程中的一些知识点&#xff0c;刷题网站用的是牛客网 timescale 1ns/1ns module ram_mod(input clk,input rst_n,input write_en,input [7:0]write_addr,input [3:0]write_data,input read_en,input [7:0]read_addr,output reg…

2023PCTF Double_SS

记录一下 ssrf配合 ssti的结合 首先开启环境 明显的ssrf 让我们访问 5555端口 使用http协议访问 url127.0.0.1:5555 告诉我们去访问 name 并且给我们key url127.0.0.1:5555/name 出现报错 说我们不是admin 然后我们往下看 我们使用file协议读取app/app.py urlfile:///app…

基于ssm的汽车服务商城系统设计与实现论文

摘 要 本课题是根据用户的需要以及网络的优势建立的一个基于Vue的汽车服务商城系统&#xff0c;来更好的为用户提供服务。 本基于Vue的汽车服务商城系统应用Java技术&#xff0c;MYSQL数据库存储数据&#xff0c;基于SSMVue框架开发。在网站的整个开发过程中&#xff0c;首先对…

Python自动化:selenium常用方法总结

使用的Python版本为3.8&#xff0c;selenium版本为4.15.2 Python自动化:selenium常用方法总结 1. 三种等待方式2. 浏览器操作3. 8种查找元素的方法4. 高级事件 1. 三种等待方式 强制等待 使用模块time下的sleep()实现等待效果隐式等待 使用driver.implicitly_wait()方法&#…

大数据云计算——使用Prometheus-Operator进行K8s集群监控

大数据云计算——使用Prometheus-Operator进行K8s集群监控 一、 背景 在非operator配置的普罗中我们监控k8s集群都是通过配置configmap进行服务发现和指标拉取。切换到prometheus-operator难免会有些使用问题。不少用户已经习惯底层配置自动发现的方式。当过渡到servicemonit…

【docker】常用命令

启动docker服务 systemctl start docker 停止docker服务 systemctl stop docker 重启docker服务 systemctl restart docker 查看docker服务状态 systemctl status docker 设置开机启动docker服务 systemctl enable docker 设置关闭开机启动docker服务 systemctl disable …

Excel实现字母+数字拖拉自动递增,步长可更改

目录 1、带有字母的数字序列自增加&#xff08;步长可变&#xff09; 2、仅字母自增加 3、字母数字同时自增 1、带有字母的数字序列自增加&#xff08;步长可变&#xff09; 使用Excel通常可以直接通过拖拉的方式&#xff0c;实现自增数字&#xf…

02基于matlab的卡尔曼滤波

基于matlab的卡尔曼滤波&#xff0c;可更改状态转移方程&#xff0c;控制输入&#xff0c;观测方程&#xff0c;设置生成的信号的噪声标准差&#xff0c;设置状态转移方差Q和观测方差R等参数&#xff0c;程序已调通&#xff0c;需要直接拍下。

luttuce(RedisTempate)实现hash expire lua脚本

话不多说先放脚本&#xff1a; local argv ARGV local length #argv if length > 0 then local unpackArgs {} for i 1, length - 1 dotable.insert(unpackArgs, argv[i]) end if redis.call(exists, KEYS[1]) 1 thenredis.call(del, KEYS[1])redis.call(hset, KEYS[…

前端自定义icon的方法(Vue项目)

第一步&#xff1a;进入在线的编辑器进行设计 好用&#xff1a;百度字体编辑器 比如先导入有个ttf文件 添加新字体 双击每个模块进入编辑区域 更改相应的信息&#xff0c;比如name 编辑完了进行导出文件(各种格式就行了)就行了 第二步&#xff1a;在项目中asset文件储存这些文…

十指波教育怎么样,课程是最新的吗

我们所有的课程内容&#xff0c;每年都会更新。 可以看一下我们的B站&#xff1a; 但是说到底&#xff0c;我们做私教服务 和那些传统的培训还是有很大区别。 传统培训机构不管线上还是线下主要是在卖一套课程的课程&#xff0c;可能是直播或者面授&#xff0c;你花钱买到的…