【MySQL】深入解析日志系统：undo log、redo log、bin log

文章目录

      • 前言
      • 1、undo log
        • 1.1、undo log 是什么
        • 1.2、事务回滚
      • 2、redo log
        • 2.1、redo log 是什么
        • 2.2、redo log 刷盘
        • 2.3、redo log 硬盘文件
      • 3、bin log
        • 3.1、bin log 是什么
        • 3.2、bin log 和 redo log 区别
        • 3.3、bin log 刷盘
        • 3.4、两阶段提交

前言

MySQL数据库提供了功能强大的日志系统，其中比较重要的是：undolog、redolog、binlog，今天来深入学习下这三个日志实现细节。

1、undo log

1.1、undo log 是什么

undolog一般叫回滚日志，事务回滚rollback功能就是通过undolog实现的，通过undolog保证了为事务的原子性，undolog主要功能如下：

  • 事务回滚
  • MVCC
1.2、事务回滚

当开启一段事务还未提交时，事务中的操作可能会出现错误异常，这时候就可以通过undo log将事务中的操作进行回滚（rollback），意思是回到事务开启前那个状态。例如：开启事务后我对表中某条记录进行修改（将该记录字段值由a ——> b ——> c），如果从整个修改过程中出现异常，事务就会回滚，字段的值就回到最初的起点（值为a）。

事务如何通过undo log进行回滚操作呢？这个很好理解，我们只需要在undo log日志中记录事务中的反向操作即可，发生回滚时直接通过undolog中记录的反向操作进行恢复，例如：

事务进行insert操作，undo log记录delete操作
事务进行delete操作，undo log记录insert操作
事务进行update操作（a改为b），undolog记录update操作（b改为a）

接下来了解一下事务是如何通过undo log完成回滚的（undo log版本链），这就不得不通过一张图直观的表达undo log记录了：

在这里插入图片描述
上图中，trx_id代表事务id，记录了这一系列事务操作是基于哪个事务；roll_pointer代表回滚指针，就是当要发生rollback回滚操作时，就通过roll_pointer进行回滚，这个链表称为版本链。

buffer pool 中有 undo 页，不仅对数据页修改操作会记录到redo log buffer，对 undo 页修改操作也会记录到 redo log buffer，这样就通过redo log保证了事务持久性。当事务Commit之后，undo 页本身就没有利用价值了，此时通过后台线程中的Master Thread或Purge Thread进行 undo 页 的回收工作。
在这里插入图片描述

2、redo log

2.1、redo log 是什么

redo log又称重做日志，保证了事务的持久性，当我们对缓冲池中的数据页进行了修改（变成了脏页），缓冲池本身就是操作系统内存分配的空间，所以数据页本质也是存在内存中的，内存有个特点就是断电即失。所以如果脏页还没有刷入磁盘，数据库服务发生宕机，那么脏页数据就会因为宕机而丢失，这时候redo log就派上了用场。
在这里插入图片描述

redo log通过WAL（Write-Ahead Logging）来进行故障恢复（crash-safe），所谓WAL就是先写日志，后写磁盘。当我们对缓存页进行了修改（变成脏页），我们就将本次操作先写入到redo log buffer中，当事务Commit时就会将redo log buffer中记录通过后台线程刷到磁盘中（事务提交是redo log默认刷盘时机），这时脏页还没有刷盘，但依旧可以认为本次的操作完成了，因为就算发生了故障脏页数据丢失也可以通过redo log恢复，需要注意redo log记录的是物理操作，例如：对AAA数据页BBB偏移量位置做了CCC更新，这跟undo log区别还是挺大的。

事务提交前崩溃，通过 undo log 回滚事务
事务提交后崩溃，通过 redo log 恢复事务

2.2、redo log 刷盘

上面已经介绍过了，redo log记录先写入到redo log buffer中，然后通过后台线程进行刷盘，也就是说最后还是从 redo log buffer 同步到硬盘中，那么redo log buffer何时进行刷盘操作呢？主要是以下几种情况：

  • Master Thread每秒刷盘一次
  • redo log buffer 剩余空间 < 1/2
  • 通过innodb_flush_log_at_trx_commit参数控制
    • 0：有事务提交的情况下，每秒刷盘一次
    • 1：每次提交事务，刷盘一次（默认，性能差）
    • 2：每次提交事务，把日志记录放到OS内核缓冲区，刷盘时机交给OS（性能好）

默认情况下，redo log在事务提交时就会进行一次刷盘。这有个疑问点，为啥事务提交时不直接将脏页刷盘呢，干嘛还要将 redo log buffer 中记录进行刷盘，然后脏页再刷盘呢，这不多了一步流程吗？

之所以这样设计是因为 redo log 刷盘操作采用磁盘顺序写方式进行的
这种方式性能相比于缓存页随机写方式性能好很多

2.3、redo log 硬盘文件

上面提到了redo log的刷盘操作采用顺序写方式进行，接下来咱们看下 redo log 文件在硬盘中是怎样的方式存在的。

redo log文件好像一个甜甜圈🍩，它是以ib_logfile文件组形式存在（也就是多个ib_logfile构成一个重做日志组），每个重做日志组中最少2个ib_logfile，每个ib_logfile占用内存1GB，当ib_logfile-1写满之后就开始写入ib_logfile2，以此类推：图片来自于《MySQL实战45讲》：

在这里插入图片描述

上图中的重做日志组包含了4个重做日志文件ib_logfile，按照圆环顺时针顺序写入文件，这种写入磁盘的方式也叫循环写：

  • write pos：当前redo log文件写到了哪个位置
  • check point：目前redo log文件哪些记录可以被覆盖

两个指针中间绿色部分表示还剩余多少可写入空间，也就是redo log 文件的可用空间了，当数据页进行刷盘操作（CheckPoint）时，check point指针也会顺时针进行覆盖（黄色变成绿色）；当write pos追上了check point就说明 redo log 文件存满了，那就要强制CheckPoint了，将缓冲池中的脏页刷盘，然后再移动check point指针，这样就可以继续向重做日志组中写入数据了。说到这里大家就该明白，当数据页刷盘后，check point也会顺时针移动，将无用的redo log记录覆盖掉。所以redo log大小需要好好斟酌，如果太大那么故障恢复crash-safe时间会很久；如果太小就会频繁发生刷盘导致性能抖动！

3、bin log

3.1、bin log 是什么

bin log常称作二进制日志，该日志主要有两个功能：

  • 备份恢复
  • 主从复制

每次事务进行提交时，都会将增、删、改操作以追加的方式记录到bin log文件中。这样也就理解了为什么该日志具备备份恢复和主从复制的功能，关于备份恢复比较好理解，根据bin log日志中记录的二进制操作记录恢复即可；主从复制常用于MySQL主从集群搭建，MySQL从节点通过监听主节点bin log日志进行同步即可。

3.2、bin log 和 redo log 区别

bin log 和 redo log二者之间还是有很大的区别：

  1. bin log 属于MySQL体系架构的Server层，而 redo log是InnoDB存储引擎特有的。
  2. bin log 写入方式是追加写，而 redo log 写入方式是循环写。
  3. bin log 中记录的是二进制日志（3种类型），而 redo log 中记录的是物理日志信息。
  4. bin log 用于备份恢复、主从复制，而 redo log 用于故障恢复。

关于bin log的二进制日志格式，有以下三种类型：

  1. STATEMENT：增删改SQL语句，存储空间要求小
  2. ROW：记录表行的更改情况，存储空间要求大
  3. MIXED：混合场景，默认情况下STATEMENT，少数情况下ROW

redo log 不具备数据备份功能的原因是由于 redo log 文件组采用的是循环写方式，所以当脏页刷盘时redo log文件组内容会进行覆盖；之所以bin log不具备crash-safe原因是我们很难判断到底从那个位置进行恢复，而redo log有write pos和check point指针指明了哪些数据需要恢复。

3.3、bin log 刷盘

bin log属于MySQL体系架构的Server层，事务操作进行过程中，会把日志信息先记录到bin log cache中，等到事务提交后会将bin log cache中记录刷盘到bin log 文件中。

这里需要注意，无论一个事务中包含了多少个增删改操作，都要一次性写入，不可拆分。当一个线程执行事务操作时，MySQL就会为该线程分配bin log cache，而且一个线程某一时刻最多只能执行一个事务。

bin log 刷刷盘时机通过参数sync_binlog控制：

0：每次提交事务写到内核缓冲区，不刷盘（由OS决定何时刷盘）
1：每次提交事务写到内核缓冲区，马上刷盘
N：每次提交事务写到内核缓冲区，累积 N 个事务后才刷盘（N > 1）

3.4、两阶段提交

当事务进行Commit操作时，redo log 和 bin log都会被刷盘持久化保存，但是可能会出现以下两种情况：

bin log刷盘后，redo log还未来得及刷盘，数据库宕机，数据不一致。
redo log刷盘后，bin log还未来得及刷盘，数据库宕机，数据不一致。

说到这里大概知道两阶段提交其实就是为了防止这两个日志不一致，它将事务Commit操作分为两个阶段：Prepare、Commit：

  • Prepare：XID（内部 XA 事务的 ID） 写入到 redo log，同时将 redo log 对应的事务状态设置为 prepare，然后将 redo log 持久化到磁盘（默认redo log刷盘策略）；
  • Commit：XID 写入到 bin log，马上将 bin log 刷盘（sync_binlog = 1），接着调用引擎的提交事务接口，将 redo log 状态设置为 commit，只要 bin log 写磁盘成功，就算 redo log 的状态还是 prepare 也没有关系，一样会被认为事务已经执行成功。

图片来自于小林coding：
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/432840.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

一文了解74HCT14D的引脚图、符号、封装、数据手册及应用

一文了解74HCT14D的引脚图、符号、封装、数据手册及应用

74HCT14D 是一款采用硅栅 C2MOS 技术制造的高速 CMOS 施密特逆变器。它实现了类似于等效 LSTTL 的高速操作&#xff0c;同时保持 CMOS 的低功耗。该器件可用作电平转换器&#xff0c;用于将 TTL 或 NMOS 连接到高速 CMOS。 输入与 TTL、NMOS 和 CMOS 输出电压电平兼容。所有输入…
阅读更多...
CSS实现选中卡片样式操作

CSS实现选中卡片样式操作

图一默认自动选中&#xff0c;并且不可取消选中&#xff0c;当选择其他卡片才可点击下一步 在 “ src/assets ” 路径下存放 save.png&#xff0c;代表选中的状态 <div class"cards"><ul class"container"><li v-for"image in image…
阅读更多...
今天BOSS约了个面试，HR直接发我一道面试题

今天BOSS约了个面试，HR直接发我一道面试题

前言 在电商、外卖、预约服务等场景中&#xff0c;订单超时自动取消是一个常见的业务需求。这一功能不仅提高了系统的自动化程度&#xff0c;还为用户提供了更好的体验。需求如下&#xff1a; TODO如果用户在生成订单后一定时间未支付&#xff0c;则系统自动取消订单。接下来…
阅读更多...
大路灯哪个品牌好用？5款超火大路灯推荐，帮你全面了解大路灯！

大路灯哪个品牌好用？5款超火大路灯推荐，帮你全面了解大路灯！

大路灯是一种用于提供良好照明环境的电器&#xff0c;通过专业的技术&#xff0c;将光线用过折射、反射、过滤&#xff0c;最终呈现柔和明亮的光线。但市面上的大路灯琳琅满目&#xff0c;有些大路灯存在虚标数据和配置的问题&#xff0c;夸大宣传过后导致很多人入手&#xff0…
阅读更多...
Android中的传感器类型和接口名称

Android中的传感器类型和接口名称

本文将介绍传感器坐标轴、基础传感器和复合传感器&#xff08;动作传感器、姿势传感器、未校准传感器和互动传感器&#xff09;。 1. 传感器坐标轴 许多传感器的传感器事件值在相对于设备静止的特定坐标系中表示。 1.1 移动设备坐标轴 Sensor API 仅与屏幕的自然方向相关&a…
阅读更多...
leetcode：88. 合并两个有序数组

leetcode：88. 合并两个有序数组

原题地址&#xff1a;https://leetcode.cn/problems/merge-sorted-array/description/ 题目描述 给你两个按 非递减顺序 排列的整数数组 nums1 和 nums2&#xff0c;另有两个整数 m 和 n &#xff0c;分别表示 nums1 和 nums2 中的元素数目。 请你 合并 nums2 到 nums1 中&a…
阅读更多...
VSCode安装

VSCode安装

前言 Visual Studio Code 是一个轻量级功能强大的源代码编辑器&#xff0c;支持语法高亮、代码自动补全&#xff08;又称 IntelliSense&#xff09;、代码重构、查看定义功能&#xff0c;并且内置了命令行工具和 Git 版本控制系统。适用于 Windows、macOS 和 Linux。它内置了对…
阅读更多...
网络原理初识（1）

网络原理初识（1）

目录 一、网络发展史 1、独立模式 2、网络互联 3、局域网LAN 局域网组建的方式 1、基于网线直连 2、基于集线器组建 3、基于交换机组建 4、基于交换机和路由器组建 4、广域网WAN 二、网络通信基础 1、IP地址 2、端口号 3、认识协议 4、五元组 一、网络发展史 1、独立模式 …
阅读更多...
rabbitmq3

rabbitmq3

指定通过通道将消息发送给哪个消息队列 同一个通道可以向不同的队列发送消息的&#xff0c;如果你绑定的队列和发布消息的队列不一致也是可以的&#xff0c;这个才是真正的发布消息去具体的某一个队列&#xff1a; 如果队列没有持久化&#xff0c;就不会把这个消息队列保存在磁…
阅读更多...
对象得定义与使用（动力节点老杜）

对象得定义与使用（动力节点老杜）

对象思想 1.什么是面向过程&#xff0c;什么是面向对象&#xff1f; 换而言之&#xff0c;面向对象思想实际就是将整体分成一个个独立的单元&#xff0c;每个单元都有自己得任务和属性&#xff0c;所有单元结合在一起完成一个整体。如果某个单元出现了问题还可以及时处理&…
阅读更多...
微软研究深度报告：Sora文转视频AI模型全景剖析及未来展望

微软研究深度报告：Sora文转视频AI模型全景剖析及未来展望

论文由微软研究团队撰写&#xff0c;这篇论文深入探讨了Sora的发展背景、核心技术、新兴应用场景、现有的局限性以及未来的发展机会&#xff0c;基于公开资料和团队自行进行的逆向工程分析。文中详尽且逻辑清晰&#xff0c;建议细读全文以获得深入了解。 原文&#xff1a;Sora…
阅读更多...
nginx生成自签名SSL证书

nginx生成自签名SSL证书

备注&#xff1a;nginx自生成的ssl证书在浏览器访问时会提示此证书不受信用 1.安装nginx nginx必须有"--with-http_ssl_module"模块 查看nginx安装的模块&#xff1a; [rootmaster1 key]# nginx -V nginx version: nginx/1.24.0 built by gcc 4.8.5 20150623 (Red …
阅读更多...
Python图像处理之光斑分析

Python图像处理之光斑分析

文章目录 质心目标截取光斑半径 python图像处理教程&#xff1a;初步&#x1f4f7;插值变换&#x1f4f7;形态学处理&#x1f4f7;滤波 光斑是工程中经常出现的图像数据&#xff0c;其特点是目标明确&#xff0c;分布清晰。对光斑图像的分析&#xff0c;主要包括质心定位、目标…
阅读更多...
【Android】反编译与预防被反编译

【Android】反编译与预防被反编译

近期在开发一款软件时&#xff0c;遇上了加密、解密数据方面的一些技术问题无法攻克&#xff0c;于是抱着试试看的态度使用 jadx-gui 工具进行反编译一下。哎&#xff0c;居然还成功了&#xff0c;更骚的是&#xff0c;这一款App没有对应用进行混淆、加密、加固&#xff0c;没多…
阅读更多...
【学习笔记】卫星基础知识

【学习笔记】卫星基础知识

一、什么是卫星以及它如何工作&#xff1f; 通信卫星是一种人造卫星&#xff0c;通过使用转发器在源和接收器之间中继和放大无线电电信信号。卫星的工作原理是接收从地球发送的无线电信号并将无线电信号重新发送回地球。卫星使用从大型太阳能电池阵列收集的太阳能&#xff0c;…
阅读更多...
2.Rust变量

2.Rust变量

变量的声明 let关键字 在Rust中变量必须要先声明才能使用&#xff0c;let关键字用于声明变量并将一个值绑定到该变量上。如下: fn main() {let var_name:i32 123123;println!("{}",var_name) //println! 是一个宏&#xff08;macros&#xff09;&#xff0c;可以…
阅读更多...
Java 简单模拟银行存取钱

Java 简单模拟银行存取钱

模拟银行存取钱 一、实验任务 在银行办理业务时&#xff0c;通常银行会开多个窗口&#xff0c;客户排队等候&#xff0c;窗口办理完业务&#xff0c;会呼叫下一个用户办理业务。本实验要求编写一个程序模拟银行存取钱业务办理。假如有两个用户在存取钱&#xff0c;两个用户分别…
阅读更多...
记事本怎么导入Excel文件 记事本数据导入Excel方法

记事本怎么导入Excel文件 记事本数据导入Excel方法

在日常生活中&#xff0c;记事本软件已经成为了我不可或缺的助手&#xff0c;帮助我记录着点点滴滴&#xff0c;释放了大脑的负担。然而&#xff0c;随着时间的推移&#xff0c;记事本里的内容越来越多&#xff0c;如何高效地整理这些数据成为了一个新的问题。特别是当我需要将…
阅读更多...
创建Net8WebApi自动创建OpenApi集成swagger

创建Net8WebApi自动创建OpenApi集成swagger

问题&#xff1a;用Net8创建WebAPI时勾选启动OpenAPI&#xff0c;项目自动集成了Swagger&#xff0c;但是接口注释没有展示&#xff1f; 解决&#xff1a; 1.需要生成Api项目的XML文件。操作如下&#xff1a; 2.生成XML文件后&#xff0c;还需要在启动类Program.cs里面配置Sw…
阅读更多...
位运算（位运算的技巧、二进制中1的个数、区间或、异或森林）

位运算（位运算的技巧、二进制中1的个数、区间或、异或森林）

一、移位操作符 1.1 左移操作符 << 作用&#xff1a;二进制数向左边移动&#xff0c;右边补0. #include<stdio.h> int main() {int a 10;int b a << 1;//将a的二进制向左移动一位printf("a%d\nb%d", a, b);return 0; } 左移操作符相当于对…
阅读更多...
最新文章

Copyright @ 2022~2023