【MySQL】InnoDB的存储结构

InnoDB的存储结构:每个表都会生成一个表空间文件,这个文件里面最小结构就是行,存储的真正的数据,一个页来管理若干行,一个区来管理若干页,一个区组来管理若干区。段并不是真正的物理存储结构,它只是把这些数据结构划分成两部分(B+树的叶子节点和非叶子节点)。

真实的数据在表空间是以行的形式存储。

结构

行结构如下图所示:

真实数据部分

主键值:

如果表中定义了主键,就直接存储主键的值。

如果还有复合主键,则按照顺序一块存在主键值中。

如果没有定义主键,优先使用第一个 不为空 且 是 唯一 的字段作为主键。

如果 没有不为空且唯一的字段,就使用DB_ROW_ID作为主键,这个大小为6字节。

DB_TX_ID:

记录 创建或最后一次修改该 行 数据的事务ID。

DB_ROLL_PTR

如果在 事务中这条记录 被修改,这个回滚指针指向上一个版本。

其他数据:

这些非空数据从左往右依次存储。


额外信息

头信息:

  • 下一行偏移量:通过这个把所有的行链接形成一个单向链表。
  • 行类型:
    • 普通数据行
    • 索引目录行
    • 页内最小行(页是组织行的数据结构)
    • 页内最大行
  • 行在页内的位置
  • 目录组内行数:如果该行是组内最后一行,那么这个才有值
  • 非叶子节点最小行标记:如果当前行是索引目录行并且也是B+索引数某层的最小值,那么这个就置为1
  • 删除标记:删除行数据就是改变一下删除标志。
  • 预留信息

Null值列表:

使用位图的思想来存:在可以为空的列中,如果为空,就为1。这样就不用给空列留位置了。

变长字段长度列表: 

记录表中所有可变长度(varchar、varbinary、text、blob) 的 字段的实际长度(字节数)。这样在真实存的时候,就可以把列与列之间划分开来。

不同的字符编码下一个字符所占的字节大小不一样。

可以看到,最大的一个字符占4字节,最小的占1字节。所以2字节最大表示的数值的2^16=65536。65536/4 = 16384。也就是varchar长度的最大值。

当实际字节数 n (字符个数 × 单个字符所占字节) 不超过一个 字节能记录的大小 - 1(128-1=127),就用一个字节来记录。超过一个就用两个。也就是 n > 127 用两个 否则用 1个。

但是读取的时候是如何知道,要读一个字节还是两个呢。

首先先读最高位,如果为1,就在往前读一个字节,就是两个字节来表示长度

如果为0,就是一个字节来表示长度。

当可变类型是text、blob时,直接把这个列放入“溢出页”的独立表空间中,用20个字节来标记其位置。


行格式

上面结构中存储字段的策略就是动态格式(Dynamic)。也是默认选择的。

查看行格式

show variables like "innodb_default_row_format";

show table status in 数据库名\G

设定行格式

# 通过全局变量设置
SET GLOBAL innodb_default_row_format=DYNAMIC;
# 在创建表时明确的指定⾏格式
CREATE TABLE t1 (c1 INT) ROW_FORMAT=DYNAMIC;

冗余格式(Redundant)
已被淘汰,存在仅为了与旧版本 MySQL 兼容,不建议使用,这里不再讨论。

压缩格式(Compressed)
行结构与 DYNAMIC 完全相同,只是会对数据进行压缩,以减少对空间的占用。

紧凑格式(Compact)
在结构上与 DYNAMIC 相同,但在处理超长字段时有所不同。它不会把所有超长数据都放在溢出页中,而是会在本行中保留前768个字节的数据,多出的部分放在溢出页中。溢出页的地址额外使用20个字节表示。因此,在本行的列中会占用768 + 20个字节。


MySQL中的“页”是一个应用层的概念,是MySQL根据自身的应用场景定义的一种数据结构。通常,在操作系统的文件系统中,管理磁盘文件时以4KB大小为一个管理单元,称为“数据块”。但在数据库的应用场景中,查询的数据量通常较大。如果也使用4KB作为最小的数据存储单元,可能会显得太小,同时也会导致频繁的磁盘I/O操作,从而降低效率。因此,MySQL根据自身情况定义了大小为16KB的“页”作为磁盘管理的最小单位

show variables like "innodb_page_size";

修改的化必须得是4KB的整数倍

每次内存与磁盘的交互至少读取一个“页”。因此,在磁盘中,每个“页”内部的地址是连续的。这种设计是根据局部性原理而来:在数据使用过程中,未来可能会使用的数据与当前访问的数据在空间上是临近的。因此,当从磁盘读取一个页的数据放入内存中后,如果下次查询的数据仍在这个页中,就可以直接从内存中读取,从而减少磁盘I/O操作,提高性能。

结构

页是由 页头+若干数据行+页尾构成。

页头

校验和:FIL_PAGE_SPACE_OR_CHKSUM,用于页的完整性校验。

页号:FIL_PAGE_OFFSET 占用 4Byte,相当于 InnoDB 表中最多可以拥有 2^(4*8)-1 约 42 亿个。分别是1,2,3…依此类推,按照每页16KB 大小计算,一个表空间最大容量为 2^(4*8) * 16KB = 64TB,这也是 InnoDB 表空间最大容量是 64TB 的原因。

上一个页页号:FIL_PAGE_PREV
下一个页页号:FIL_PAGE_NEXT  多个页通过这两个信息组成双向链表,即使不同的页地址不连续,也可以通过链表连接。

表空间ID:FIL_PAGE_ARCH_LOG_NO_OR_SPACE_ID,当前页属于哪个表空间。

页类型:FIL_PAGE_TYPE,数据页对应的页类型是 FIL_PAGE_INDEX = 0x45BF。

最近一次修改的LSN:FIL_PAGE_LSN,占用 8Byte。

LSN(Log Sequence Number)是“日志序列号”的缩写,表示日志中记录的操作对应的时间点,使用一个任意的、不断增加的值来表示。LSN使用8字节的无符号长整型表示。

已被刷到磁盘的LSN:FIL_PAGE_FILE_FLUSH_LSN,占用 8Byte。

页尾

最近一次修改的LSN:与页头中的意义相同

校验和:与页头中的意义相同 


页的初始化

当创建表的时候,不知道表的数量级,所以为了节省空间,刚开始只创建 7个初始页(MySQL5.7是6个)

select * frominformation_schema.INNODB_TABLESPACES where name = '数据库/数据表'\G

这些零散的页会放在表空间中的碎片区,当碎片区达到32个页之后,后续如果还要申请空间,就会申请32个页,这32个页就是区,用来管理页的数据结构。


管理页的数据结构就是区。

结构

一个区管理32个页,刚好1M。

使用区的原因

  • 在一个区中,如果是相邻页,磁盘是顺序I/O的,这样读取会很快。
  • 在一个区中,如果不是相邻页,可以大幅减少磁头移动,读取也是较快。
  • 在不同区中,无法提升读取速度。所以要使用区组。
  • 如果频繁访问某个区中的页,可以把整个区都取出来放到内存中,减少后续可能的读取操作。

区组

区组是管理区的数据结构。

结构

一个区组管理256个区,其中第一个区组存的信息和其他的略有不同。

第一个区组

第一个区组中的第一个区的前四页比较特殊,也就是页初始化时候的前四页。

  • File Space Header(文件空间头):这一页存储了关于表空间和区组中各个区的元数据信息。它记录了表空间的状态、大小、分配情况以及每个区的使用信息。这对于InnoDB来说是管理磁盘空间和执行一些管理操作非常重要的信息。
  • Insert Buffer Bitmap(插入缓冲位图):插入缓冲是InnoDB用来加速对辅助索引的更新操作的一种机制。这个页存储了与插入缓冲相关的位图信息,用于跟踪哪些页在插入缓冲中。这有助于优化并发插入操作的性能(change buffer区域相关)。
  • File Segment inode(文件段inode):段inode页记录了关于InnoDB文件段(通常是表空间文件)的详细信息,包括段的位置、大小和其他管理信息。这些信息对于InnoDB存储引擎的存储和管理操作至关重要。
  • B-tree Node(B树节点):这个页存储了InnoDB中各种B+树索引的根节点信息。根节点是索引结构的起始点,包含了指向整个B+树的其它节点和叶子节点的指针。这使得InnoDB能够高效地查找和操作索引数据

其他闲置的页用来存放真实的数据。

其他的区组

其他区组的第一个区的前两个页都是一样的。

  • Extent Descriptor(XDES):区组条目信息:记录每个区的偏移并用双向链表连接
  • Insert Buffer Bitmap

其他闲置的页用来存放真实的数据。


上面的 行、页、区和区组都是物理结构来存储数据的,而段并非是物理结构的存储。段的主要作用是区分不同功能的区以及在碎片区中的页。主要分为两类:叶子节点段和非叶子节点段,这两个段对应于B+树索引结构中的叶子和非叶子节点。

表空间

表空间可以理解为MySQL为了管理数据而设计的一种数据结构,主要描述了数据结构的定义。表空间文件是这一定义的具体实现,以文件的形式存在于磁盘上。

表空间文件是用来存储表中数据的文件,其大小取决于存储的数据量。在MySQL中,表空间分为五类:

  1. 系统表空间
  2. 独立表空间
  3. 通用表空间
  4. 临时表空间
  5. 撤销表空间

每种表空间类型用于不同的数据存储和管理目的,在MySQL的数据库架构中,它们各自承担着特定的角色和功能。

当使用InnoDB存储引擎创建一个表时,默认会在数据目录对应的数据库子目录中生成相应的表空间文件,以 `.ibd` 为文件的后缀,用来存储数据和索引。如果每个表都对应一个表空间文件,这称为独立表空间。在MySQL 5.7及以后的版本中,默认每个表都会生成独立表空间。可以通过系统变量 `innodb_file_per_table` 控制这一行为。当这个选项被关闭时,所有表的数据将存储在系统表空间中。 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/771843.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

计组期末复习

本内容是我在计组期末复习时的记录,可能对你的复习帮助不大。下面是我复习时看的一些资料和视频: 知识体系: 【【计算机组成原理】计算机组成原理期末考试速成课,不挂科!!】https://www.bilibili.com/video…

轻松跨越国界:使用WildCard畅享全球AI服务

大家好,现在AI技术已经深入到我们的日常生活中。然而,许多朋友仍然难以获取优质的AI工具和应用。那么,如何才能使用像ChatGPT这样的AI服务呢? 今天我为大家介绍一个“一劳永逸”的解决方案,它就是我们的主角——WildC…

spdlog一个非常好用的C++日志库(四): 源码分析之logger类

目录 1.简介 2.类图关系 3.logger数据成员 4.logger函数成员 4.1.构造与析构 4.1.1.构造函数 4.1.2.拷贝构造、移动构造 4.2.交换操作 4.3.log()记录日志消息 4.3.1.格式串 4.3.2.普通字符串 4.3.3.日志级别 4.3.4.宽字符支持 4.4.sink_it_:将log消息…

【内网渗透】从0到1的内网渗透基础概念笔记

目录 域 域的介绍 单域 父域和子域 域树 域森林 域名服务器 活动目录 活动目录介绍 域内权限 组 域本地组 全局组 通用组 总结 示例 A-G-DL-P策略 重要的域本地组 重要的全局组、通用组 安全域划分 域 域的介绍 Windows域是计算机网络的一种形式&#xf…

币界网讯,预计以太坊现货 ETF 将于 7 月中旬推出

刚刚 ETF Store 总裁 Nate Geraci 在 X (前Twitter)平台上宣布,备受数字货币市场期待的SEC以太坊现货 ETF提案,将于7 月中旬通过美国证券交易委员会(SEC)批准。Nate Geraci透露修订后的 S-1 文件将于 7 月 …

艺活网DIY手工制作网站源码 工艺制作教程平台源码,带数据

帝国CMS仿《手艺活》DIY手工制作网源码,仿手艺活自适应手机版模板。 带数据库和图片资源,一共5个G大小,下载需耐心。 92开发 手艺活网DIY手工制作网站源码 创意手工艺品制作教程平台系统帝国h5自适应手机端 是一套展示各种 DIY 小物品精美又…

初学Spring之自动装配 Bean

Bean 的作用域: 1.单例模式(Spring 默认机制) scope“singleton” 2.原型模式:每次从容器中 get 时,都会产生一个新对象 scope"prototype" 3. request、session、application,只能在 web 开…

webp2jpg网页在线图片格式转换源码

源码介绍 webp2jpg-免费在线图片格式转化器, 可将jpeg、jpg、png、gif、 webp、svg、ico、bmp文件转化为jpeg、png、webp、webp动画、gif文件。 无需上传文件,本地即可完成转换! 源码特点: 无需上传,使用浏览器自身进行转换批量转换输出we…

九、函数的声明和定义

函数声明: 1. 告诉编译器有一个函数叫什么,参数是什么,返回类型是什么。但是具体是不是存在,函数 声明决定不了。 2. 函数的声明一般出现在函数的使用之前。要满足先声明后使用。 3. 函数的声明一般要放在头文件中的。 定义的函…

视频监控平台web客户端的免密查看视频页:在PC浏览器上如何调试手机上的前端网页(PC上的手机浏览器的开发者工具)

目录 一、手机上做前端页面开发调试 1、背景 2、视频监控平台AS-V1000的视频分享页 3、调试手机前端页面代码的条件 二、手机端的准备工作 1、手机准备 2、手机的开发者模式 3、PC和手机的连接 (1)进入调试模式 (2)选择…

期权开户零门槛怎么操作?期权不满50w的开户方式

今天带你了解期权开户零门槛怎么操作?期权不满50w的开户方式。在股票期权市场上,期权交易是一种非常受欢迎的投资方式。它不仅可以增加投资组合的多样性,还可以为投资者提供一定的保护和利润机会,比如通过买入认股期权做空对冲大盘…

基于Springboot的智慧信息化机房管理系统

1 项目介绍 1.1 研究目的和意义 随着社会的快速发展,计算机的影响是全面且深入的。人们生活水平的不断提高,日常生活中人们对高校共享机房管理方面的要求也在不断提高,需要高校共享机房的人数更是不断增加,使得高校共享机房管理…

Swift Core Data 分阶段迁移

文章目录 前言什么是分阶段迁移?提供一些背景信息创建迁移管理器设置使用 Core Data 栈。总结 前言 在这之前,我发布了一篇文章,在其中解释了如何使用映射模型和自定义迁移策略执行复杂的 Core Data 迁移。虽然这种方法性能良好且运行良好&a…

阿里巴巴矢量图标库使用

阿里巴巴矢量图标库官网 添加图标到购物车 悬浮到图标上面会有个购物车icon,点击一下就可以添加购物车了 添加图标到项目 添加完购物车后,右上角会有当前在购物车的数量,点击右上角购物车icon,在新弹窗内点击添加至项目,选择添加到哪个项目(没有项目就创建一个),点击完成,…

C++ 教程 - 08 文件操作与异常处理

文章目录 文件操作文件对象其他方法异常处理 文件操作 需要头文件 <iostream><fstream> 读取文件 ifstream obj; obj.open(const char* filename, std::in)写入文件ofstream obj; obj.open(const char* filename, std::out)读、写文件 fstream&#xff0c;包含了i…

免杀笔记 ---> PE

本来是想先把Shellcode Loader给更新了的&#xff0c;但是涉及到一些PE相关的知识&#xff0c;所以就先把PE给更了&#xff0c;后面再把Shellcode Loader 给补上。 声明&#xff1a;本文章内容来自于B站小甲鱼 1.PE的结构 首先我们要讲一个PE文件&#xff0c;就得知道它的结构…

MySQL之备份与恢复(四)

备份与恢复 存储引擎和一致性 3.复制 从备库中备份最大的好处是可以不干扰主库&#xff0c;避免在主库上增加额外的负载。这是一个建立备库的好理由&#xff0c;即使不需要用它做负载均衡或高可用。如果钱是个问题&#xff0c;也可以把备份用的备库用于其他用户&#xff0c;…

​香橙派AIpro测评:usb鱼眼摄像头的Camera图像获取

一、前言 近期收到了一块受到业界人士关注的开发板"香橙派AIpro",因为这块板子具有极高的性价比&#xff0c;同时还可以兼容ubuntu、安卓等多种操作系统&#xff0c;今天博主便要在一块832g的香橙派AI香橙派AIpro进行YoloV5s算法的部署并使用一个外接的鱼眼USB摄像头…

小龙虾优化24种机器学习多输入单输出回归|时序预测模型

小龙虾优化24种机器学习多输入单输出回归|时序预测模型 文章目录 小龙虾优化24种机器学习多输入单输出回归|时序预测模型前言一、小龙虾优化基本原理二、优化机器学习模型1.COA-CNN-BiGRU-Attention回归模型2.基于小龙虾优化支持向量机的数据回归预测Matlab程序COA-SVM 多特征输…

Android EditText的属性与用法

EditText 是编辑框控件&#xff0c;可以接收用户输入&#xff0c;并在程序中对用户输入进行处理。EditText在App里随处可见&#xff0c;在进行搜索、聊天、拨号等需要输入信息的场合&#xff0c;都可以使用 EditText。 图1 编辑框示意图 EditText 是TextView的子类&#xff0c…