MYSQL部分术语及原理解释(缓冲池、LRU、redo log buffer、WAL、Checkpoint、LSN)

文章目录

  • 一、缓冲池 Buffer Pool
  • 二、 LRU List、Free List、Flush List
  • 三、 重做日志缓存redo log buffer
  • 四、WAL与Checkpoint
  • 五、LSN

总结来自《MySQL技术内幕 InnoDB存储引擎》 第二版

一、缓冲池 Buffer Pool

InnoDB存储引擎的MySQL是基于磁盘的数据库系统。缓冲池是一片内存区域,在数据库读取页的操作,首先将磁盘读到的页存放在缓冲池中,再次读取时先判断该页是否在缓冲池中,若在,则命中buffer读取页,否则读取磁盘的页。以此来解决CPU速度与磁盘速度之间的鸿沟,提高整体性能。

在这里插入图片描述其中buffer pool 内容

在这里插入图片描述
1. 索引页(Index Pages)

索引页存储了InnoDB表的索引结构,包括主键索引(聚集索引)和辅助索引(非聚集索引)。这些索引页被加载到缓冲池中,以加速对表中数据的查找和访问。当执行查询操作时,InnoDB会首先检查所需的索引页是否已经在缓冲池中,如果在,则直接从缓冲池中读取,这称为缓冲池命中;如果不在,则需要从磁盘加载到缓冲池中,这称为缓冲池未命中。

2. 数据页(Data Pages)

数据页存储了InnoDB表的实际数据行。在InnoDB中,数据是按页存储的,每个数据页通常包含多行数据。当需要读取或修改表中的数据时,相关的数据页会被加载到缓冲池中。通过将数据页缓存在内存中,InnoDB可以快速地读取和修改数据,而无需每次都从磁盘加载。

3. Undo页(Undo Pages)

Undo页存储了旧版本的数据,用于支持事务的ACID属性中的隔离性(Isolation)和持久性(Durability)。当执行一个事务时,对数据的修改不会立即生效,而是先记录在Undo页中。如果其他事务需要读取被修改的数据,它可以通过Undo页来获取数据修改前的版本,从而实现多版本并发控制(MVCC)。此外,如果事务失败或回滚,Undo页中的数据可以用于恢复数据到事务开始前的状态。

4.插入缓存(Insert Buffer)

插入缓存是InnoDB中用于优化非聚集索引插入操作的一种机制。当向一个包含非聚集索引的表中插入数据时,如果相关的索引页不在缓冲池中,InnoDB不会立即将索引键插入到索引页中,而是将其存储在插入缓存中。当相关的索引页被加载到缓冲池时,插入缓存中的索引键会被合并并插入到索引页中。这样可以减少磁盘I/O操作,并提高插入操作的性能。

需要注意的是,插入缓存只适用于非唯一索引的插入操作,并且在某些情况下,如缓冲池足够大或表很小,插入缓存可能不会被使用。

5. 自适应哈希索引(Adaptive Hash Index)

自适应哈希索引是InnoDB存储引擎的一个特性,用于自动根据访问模式创建哈希索引。当某些索引值被频繁访问时,InnoDB会将这些索引值存储在自适应哈希索引中,以加速对这些值的查找。自适应哈希索引是完全自动的,不需要用户手动创建或维护。当哈希索引不再被频繁使用时,InnoDB会自动删除它们以释放内存。

6. InnoDB的锁信息(Lock Information)

InnoDB存储引擎使用锁来确保并发访问时的数据一致性和完整性。在缓冲池中,InnoDB会维护锁信息,以跟踪哪些数据页或行被锁定,以及锁的类型(如共享锁或排他锁)。这些锁信息对于实现事务的隔离性和并发控制至关重要。当事务尝试访问被其他事务锁定的数据时,它会根据锁的类型和事务的隔离级别来决定是等待锁释放还是立即返回错误。

二、 LRU List、Free List、Flush List

LRU List(Latest Recently Used):最近最少使用链表,用于管理缓存页的访问顺序和淘汰策略。MySQL 使用的是优化过的LRU列表(加入一个midpoint的位置,最新访问的页并不防砸LRU列表首部而是放在midpoint的位置,为了解决原始LRU 列表会导致因为普通一次性的SQL查询访问页会将活跃的热点数据会被刷新出缓存池的问题)。
Free List:用于管理Buffer Pool中当前未被使用的空闲页。当一个页被从LRU链表或其他链表中移除时,它会被加入到free链表中。当需要加载新的页到Buffer Pool时,InnoDB会首先从free链表中获取空闲页。如果free链表为空,InnoDB则需要从LRU链表中淘汰页来腾出空间。
Flush List:脏页列表,用于管理那些被修改过(即脏页)并且需要被刷新到磁盘上的缓存页。当一个事务提交或Buffer Pool中的空闲空间不足时,InnoDB会选择一些脏页加入到flush链表中,并在适当的时机(checkpoint)将它们刷新到磁盘上。flush链表确保了脏页能够按照一定的顺序和优先级被刷新,从而保证了数据的持久性和一致性。
脏页既存储在LRU list中又存储在Flush List表中,LRU列表用来管理缓冲池中页的可用性,Flush列表用来管理将页刷新到磁盘,二者互不影响。

三、 重做日志缓存redo log buffer

redo log 写盘步骤InnoDB存储引擎首先将redo log重做日志信息放入缓存区,按照一定频率将其刷新到重做日志文件,redo log buffer 默认为8MB
3种情况会将redo log buffer的内容刷新到 redo log

  1. Master Thread 每秒将redo log buffer刷新到redo log
  2. 每个事务提交时会将 redo log buffer 缓冲刷新到redo log
  3. 当redo log buffer 剩余空间小于1/2时,刷新到redo log

四、WAL与Checkpoint

WAL(Write Ahead Log):当前事务数据库系统普通使用WAL策略,即当事务提交时,先写重做日志,再修改页(如上图redo log 写盘步骤)。此方法是为了解决发生宕机而导致数据丢失时,可通过重做日志完成数据恢复,保证事务的ACID的D(durability 持久性)要求。
Checkpoint:检查点。
redo log 不可能非常大,否则数据库发生故障后恢复数据的时间、代价非常大,缓冲池大小也有限,脏页不可能一直不刷新到磁盘。
checkpoint解决以下几个问题

  1. 缩短数据库的恢复时间
  2. 缓冲池 buffer pool 不够用时,将脏页刷新到磁盘
  3. 重做日志不可用时,刷新脏页

当数据库宕机时,数据库不需要重做所有日志因为checkpoint之前的页已经刷新回磁盘。这样就缩短了恢复时间。
缓冲池大小不够用时,根据LRU算法回溢出最少使用的页,若此页为脏页就需要强制执行checkpoint,将页的新版本刷新到磁盘。
重做日志大小有限,旧版本、不再需要的重做日志,这部分空间就可以覆盖重用。若此时重做日志还需要使用,则必须强制产生checkpoint,将缓冲池中的页至少刷新到当前重做日志的位置。

五、LSN

LSN(Log Sequence Number):用来标记版本的8字节数字。
缓冲池中的每个页、重做日志、checkpoint 都有LSN

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/718989.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Ubuntu与RedHat Linux的不同

部署Ubuntu 安装在服务器上的系统一般追求极致的稳定,所以安装系统时为了避免潜在的问题,所以选的时候应该往后推选几个版本 首先因为现在使用的电脑是MacBook,还是最新的Mac所以在部署的时候要注意其安装的支持芯片架构(最新的…

事务所管理系统的设计

管理员账户功能包括:系统首页,个人中心,管理员管理,客户管理,评论管理,基础数据管理,公告信息管理 客户账户功能包括:系统首页,个人中心,律师管理&#xff0…

【Python机器学习实战】----基于AdaBoost分类树模型、梯度提升分类树模型、Bagging分类树模型以及随机森林分类模型对空气质量等级进行预测

🎩 欢迎来到技术探索的奇幻世界👨‍💻 📜 个人主页:一伦明悦-CSDN博客 ✍🏻 作者简介: C软件开发、Python机器学习爱好者 🗣️ 互动与支持:💬评论 &…

【Redis实战篇】redis的擅长实现的功能

🔥作者主页:小林同学的学习笔录 🔥小林同学的专栏:JAVA之基础专栏 【Redis实战篇】Redis有可能出现的问题以及如何解决问题_redis实现用户登录可能造成哪些问题-CSDN博客 本文接上面的文章 目录 2.优惠券秒杀 2.1 全局唯一ID 2.…

微信小程序-界面提示框和消息

一.Loading加载框 小程序提供了wx.showLoading用来在加载界面的时候使用,比如加载图片和数据的时候可以使用。 常常和wx.hideLoading()配合使用,否则加载框一直存在。 其效果如下: 代码如下: //显示加载消息wx.showLoading({//提…

【Java】已解决java.lang.CloneNotSupportedException异常

文章目录 问题背景可能出错的原因错误代码示例正确代码示例注意事项 已解决java.lang.CloneNotSupportedException异常 在Java编程中,java.lang.CloneNotSupportedException是一个常见的运行时异常,它发生在尝试调用对象的clone()方法时,但该…

【Effective Web】常见的css布局方式--三栏布局

常见的css居中方式–三栏布局 第一种实现&#xff1a;table布局&#xff08;不推荐&#xff09; 缺点&#xff1a;在table加载前&#xff0c;整个table都是空白的&#xff0c;且修改布局排版都十分困难 <table class"container"><td class"left"…

C++及cmake语法介绍

c/cmake学习 文章目录 c/cmake学习1. c1.1 基本模型1.1.1 for循环1.1.2 main函数1.1.2 带参数函数编译函数 2. CMAKE2.1 相关命令2.1.1 编译基本命令2.1.2 动态库静态库编译2.1.3 消息输出2.1.4 cmake变量常见参数1. 设置构建类型2. 设置编译器标志3. 指定编译器4. 设置安装路径…

[AIGC] 图论基础入门

图论是数学的一个分支&#xff0c;旨在研究图&#xff08;graph&#xff09;的属性和应用。这是一个跨学科领域&#xff0c;因为图论可以用于描述和解决各种实际问题。如社交网络分析&#xff0c;电脑网络&#xff0c;生物网络等。 文章目录 什么是图&#xff1f;图的基本性质L…

VUE3版本新特性

VUE3版本新特性 VUE3和VUE2的区别路由的使用vite安装项目新特性使用 1.VUE3和VUE2的区别 2020年9月18日&#xff0c;Vue.js发布版3.0版本&#xff0c;代号&#xff1a;One Piece 于 2022 年 2 月 7 日星期一成为新的默认版本! Vue3性能更高,初次渲染快55%, 更新渲染快133% 。…

Raylib的贪吃蛇

配置Raylib库 工具链主函数模板Draw: 绘制网格Snake: 初始化Draw&#xff1a;绘制蛇与果Input&#xff1a;移动Logic&#xff1a;游戏主要逻辑Draw: 游戏结束 工具链 mkdir snake cd snakeCMakeLists.txt cmake_minimum_required(VERSION 3.10) project(snake) set(CMAKE_EXP…

TWM论文阅读笔记

这是ICLR2023的一篇world model论文&#xff0c;用transformer来做世界模型的sequence prediction。文章贡献是transformer-based world model&#xff08;不同于以往的如transdreamer的world model&#xff0c;本文的transformer-based world model在inference 的时候可以丢掉…

适用于世界上最先进的医疗应用的高压电阻器

我们的电阻器专为用于医疗诊断、治疗和预防的各种产品而设计。从小型植入式和非侵入性设备到大型诊断成像设备&#xff0c;医疗制造商之所以选择 EAK电阻器&#xff0c;是因为操作环境是高电压和磁场&#xff0c;准确性和稳定性至关重要。 EAK 专有的精密打印技术生产出非常适…

Python自动化(1)——获取窗口句柄

Python自动化(1)——获取窗口句柄 前言 在现代生活中&#xff0c;人们的工作往往有很大的重复性。可能一个工作&#xff0c;会有90%的相似性&#xff0c;这时候&#xff0c;就会思考能否通过程序来代替人工。 Python作为近几年来大火的编程语言&#xff0c;其便捷性和高效性&a…

大模型基础——从零实现一个Transformer(5)

大模型基础——从零实现一个Transformer(1)-CSDN博客 大模型基础——从零实现一个Transformer(2)-CSDN博客 大模型基础——从零实现一个Transformer(3)-CSDN博客 大模型基础——从零实现一个Transformer(4)-CSDN博客 一、前言 上一篇文章已经把Encoder模块和Decoder模块都已…

vue标签组

先看样式 再看代码 <div v-else class"relative"><n-tabs ref"tabsInstRef" v-model:value"selectValue" class"min-w-3xl myTabs"><n-tab-panev-for"(tab) in songsTags" :key"tab.name" displ…

【数据结构初阶】--- 堆

文章目录 一、什么是堆&#xff1f;树二叉树完全二叉树堆的分类堆的实现方法 二、堆的操作堆的定义初始化插入数据&#xff08;包含向上调整详细讲解&#xff09;向上调整删除堆顶元素&#xff08;包含向下调整详细讲解&#xff09;向下调整返回堆顶元素判断堆是否为空销毁 三、…

Docker安装(内网无网环境),亲测简单易懂

文章目录 前言一、安装环境二、安装步骤三、启动四、查看状态总结 前言 Docker安装&#xff08;内网无网环境&#xff09;&#xff0c;亲测简单易懂 一、安装环境 CentOS Linux release 7.x Docker版本&#xff1a;18.09.8 二、安装步骤 &#xff01;&#xff01;&#xf…

网络学习(三)TCP三次握手、四次挥手,及Wireshark抓包验证

目录 一、什么是 TCP 三次握手&#xff1f;二、什么是 TCP 四次挥手&#xff1f;三、Wireshark抓包验证3.1 如何捕获三次握手、四次挥手3.2 TCP 三次握手的记录3.3 数据传输3.4 TCP 四次挥手的记录 一、什么是 TCP 三次握手&#xff1f; TCP&#xff08;Transmission Control …

计算机组成原理之存储器(二)

文章目录 随机读写存储器RAM静态MOS存储单元与存储芯片动态MOS存储单元与存储芯片 半导体存储器逻辑设计存储器的读写以及刷新存储器的读写动态存储芯片的刷新 随机读写存储器RAM 静态MOS存储单元与存储芯片 静态RAM用半导体管的导通和截止来记忆&#xff0c;只要不掉电&#x…