Mysql数据存储格式分析

一、整体存储逻辑

1.1 Mysql数据存放位置

不同的存储引擎,对Mysql数据的存储是不同的。新建一个test数据库,里面有t1,t2和test5三张表,以Innodb和Myisam存储引擎为例:
在这里插入图片描述
Innodb存储引擎:

.frm文件:与表相关的元数据信息都存放在frm文件中,包括表结构的定义信息。
.ibd文件或.ibdata文件:都是存放InnoDB数据的文件【数据和索引】。
【独享表空间存储方式】使用.ibd文件,并且每一个表一个.ibd文件;
【共享表空间存储方式】使用.ibdata文件,所有表共同使用一个.ibdata文件
独享和共享由innodb_file_per_table字段控制,从5.6版本后,默认为1,即使用独享表的方式

在这里插入图片描述
MyISAM存储引擎:

.frm文件:与表相关的元数据信息都存放在frm文件中,包括表结构的定义信息
MVD(MYData)文件:用于存储MyISAM表的数据
MYI(MYIndex)文件:用于存储MyISAM表的索引相关信息

二、详细存储格式分析

考虑到工作中使用Innodb存储引擎居多,后面讨论以Innodb存储引擎为主。ibd文件又称表空间文件,从逻辑和物理上进行了层次性的划分。主要分为:段Segment,区Extent,页Page以及行Row
表结构
下面对每个结构类型进行介绍:

行Row:表示一条记录,是存储的最小单元;
页Page: 考虑到每次读取一个条记录,需要进行一次IO,效率非常低,因此Innodb是按照为单位进行读取的。默认页的大小为16KB,为了提高读取效率,页中的行记录是连续存储,可以方便顺序IO
区Extent: Innodb存储引擎采用的是B+树来存储的。B+ 树中每一层都是通过双向链表连接起来的,如果是以页为单位来分配存储空间,那么链表中相邻的两个页之间的物理位置并不是连续的,可能离得非常远,那么磁盘查询时就会有大量的随机I/O,随机 I/O 是非常慢的。因此,最好的解决办法就是让链表中相邻的页的物理位置也相邻,这样就可以使用顺序 I/O 了,那么在范围查询(扫描叶子节点)的时候性能就会很高。解决方案:在表中数据量大的时候,为某个索引分配空间的时候就不再按照页为单位分配了,而是按照区(extent)为单位分配。每个区的大小为1MB,对于 16KB 的页来说,连续的 64 个页会被划为一个区,这样就使得链表中相邻的页的物理位置也相邻,就能使用顺序 I/O 了。
段Segment:段是由多个区组成的,两个区之间是逻辑上相邻的,物理上不一定相邻。段分为:数据段,索引段和回滚段

  1. 数据段:存放B+树叶子节点的区集合;
  2. 索引段:存放B+树的非叶子节点的区集合;
  3. 回滚段:存放的是回滚数据的区集合。后续用于MVCC版本控制。

2.1 存储格式分类

系统是不断演进的,因此Mysql的存储格式也在不断优化。主要有以下几种存储格式:

COMPACT行格式:是其它几种格式的基础。处理行溢出时,一部分数据存储在当前页中,多余的部分存储在其它页中,然后记录其它页的内存地址
Redundant行格式:已经不再使用。
Dynamic行格式:目前Mysql5默认使用的方式。基本上和Compact一样,只不过在处理行溢出时,Danamic行格式,直接将数据存储在其他页面,然后指向该页面的内存地址
Compressed行格式:采用压缩算法对页面进行压缩。

2.2 存储格式详解

下面分析的行记录存储格式,是Mysql 的COMPACT格式,Dynamic和Compressed都是一样的。
行记录的整体组成部分

2.2.1 额外信息

变成字段长度列表

变长字符有哪些:varchar,test,blob
是否必需:不一定。若表中没有变长字段,则不会有
【变长字段】占用内存大小:例如varchar(M), 在utf-8编码情况下,每个字符占用N个字节,则占用内存大小为:(M*N)个字节。具体情况要看编码格式,以及编码格式下的每个字符占用情况。
存储【变长字符长度】占用的内存大小为: 
	1.M*N <=255,则占用1字节;
	2.M*N > 255,则需要区分字符串实际占用的大小L
		2.1L <= 127, 则使用1个字节来表示;
		2.2L > 127, 则使用2个字节来表示.
【注意】:
	1. 不会超过2个字节,因为一条记录的最多占用内存65535个字节
	2. 若一行记录中,有多个变长字段,那每个变长字段的长度,按照逆序存放
	3. 若没有变长字段,则不会有这个变长字段长度列表存在

NULL值列表

Mysql会将字段为null的,进行压缩处理,即若多个字段都为null,为了节省内存空间,会将每个允许存储null的列,对应一个二进制位,按照【逆序】存放。其中1表示该列的值为null0表示不为null。例如:有三个字段可以为null,a,b,c,则存储形式为:
	  c         b           a
00000 0         0           0
因mysql要求,存储null值列表必须为整数个字节,因此,不足8的倍数的情况,前面自动补0,同时每8位表示一个字节
注意:
	1. 因已经表示了是否存储为null,则在真实数据部分,若字段为null,则不会存储

记录头信息
主要用于描述记录的头信息,由固定的5个字节组成。

名称大小(单位:bit)描述
预留位11没有使用
预留位21没有使用
delete_mask1标记该记录是否被删除
min_rec_mask1B+树的每层非叶子节点中的最小记录都会添加该标记
n_owned4表示当前记录拥有的记录数
heap_no13表示当前记录在记录堆的位置信息
record_type3表示当前记录的类型,0表示普通记录,1表示B+树非叶子节点记录,2表示最小记录,3表示最大记录
next_record16表示下一条记录的相对位置

2.2.2 真实数据

隐藏字段

Mysql会为每条记录,添加一下隐藏列。例如:
	- db row_id: 不是必须的。占用6个字节,行ID,唯一标识一条记录。详见下面的主键生成策略:
	- db transction_id: 必须的。占用6个字节,事务ID
	- db roll pointer: 必须的。占用7个字节,回滚指针

【主键生成策略】:
1. 优先使用用户自定义主键
2. 若没有,则选取一个唯一非空字段作为主键
3. 若唯一非空字段也没有,则默认添加一个row_id作为主键

真实数据:
就是业务方自己存储的字段值信息。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/626264.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【Nginx】如何在 Nginx 中阻止来自特定国家的 IP 地址访问

文章目录 前言一、准备工作二、查看 Nginx 服务器都拥有哪些模块2.1 先查看本地nginx是否有ngx_http_geoip2模块2.2 安装nginx并配置ngx_http_geoip2模块2.2.1下载所需版本的nginx到服务器2.2.2 先安装所需依赖2.2.3 解压文件2.2.4 下载ngx_http_geoip2模块2.2.5 编译安装nginx…

解决webstorm没有vue语法提示;webstorm没有代码提示

解决webstorm没有vue语法提示&#xff1b;webstorm没有代码提示 使用webstorm 2023.x 开发vue项目。发现死活没有vue语法提示&#xff0c;即便是npm install、清理缓存。对比其他vue项目却有语法提示&#xff0c;最后发现依赖库被忽略了&#xff1a; 删除掉node_modules 的忽略…

国外IP代理免费试用技巧

随着互联网的普及&#xff0c;人们越来越依赖于网络来获取信息、进行交流和娱乐。国外IP代理就成了利器之一。在本文中&#xff0c;我们将探讨如何免费使用国外IP代理。 一、了解国外IP代理的原理 国外IP代理&#xff0c;简单来说&#xff0c;就是通过连接到位于国外的代理服务…

linux 环境下 分布式文件搭建fastDFS

1.软件信息 地址&#xff1a;happyfish100 (YuQing) GitHub 1.fastdfs-master.zip 2.fastdfs-nginx-module-master.zip 3.libfastcommon-master.zip 4.libserverframe-master.zip yum install make cmake gcc gcc-c perl 2.安装libfastcommon unzip libfastcommon-mast…

怎么转换音频?看这3款音频转换器

随着数字媒体的发展&#xff0c;音频文件在我们的日常生活中占据了越来越重要的地位。有时候在不同的应用场景里&#xff0c;无论是音乐、语音还是其他类型的音频内容&#xff0c;我们都需要对其进行转换以满足不同的需求。 本文将为您介绍3款常用的音频转换器&#xff0c;帮助…

代码随想录训练营Day31:动态规划3:0-1背包

1.0-1背包基础 有n件物品和一个最多能背重量为w 的背包。第i件物品的重量是weight[i]&#xff0c;得到的价值是value[i] 。每件物品只能用一次&#xff0c;求解将哪些物品装入背包里物品价值总和最大。 1.1动态规划五部曲 确定dp数组以及下标的含义&#xff1a;dp[i][j] 表示…

sql操作、发送http请求和邮件发送 全栈开发之路——后端篇(2)

全栈开发一条龙——前端篇 第一篇&#xff1a;框架确定、ide设置与项目创建 第二篇&#xff1a;介绍项目文件意义、组件结构与导入以及setup的引入。 第三篇&#xff1a;setup语法&#xff0c;设置响应式数据。 第四篇&#xff1a;数据绑定、计算属性和watch监视 第五篇 : 组件…

RK3566(泰山派):3.1寸屏幕D310T9362V1SPEC触摸驱动(竖屏)

RK3566&#xff08;泰山派&#xff09;&#xff1a;3.1寸屏幕D310T9362V1SPEC触摸驱动&#xff08;竖屏&#xff09; 文章目录 RK3566&#xff08;泰山派&#xff09;&#xff1a;3.1寸屏幕D310T9362V1SPEC触摸驱动&#xff08;竖屏&#xff09;电路配置i2c1设备树创建驱动编写…

什么是50etf期权?期权的三级交易权限是什么?

今天期权懂带你了解什么是50etf期权&#xff1f;期权的三级交易权限是什么&#xff1f;期权三级交易权限&#xff0c;作为股票期权交易中的最高级别权限&#xff0c;赋予了投资者更广泛、更灵活的交易选择和策略。 什么是50etf期权&#xff1f; ETF期权是指在支付一定额度的权…

如何让机器理解人类语言?Embedding技术详解

如何让机器理解人类语言&#xff1f;Embedding技术详解 文章目录 如何让机器理解人类语言&#xff1f;Embedding技术详解介绍什么是词嵌入&#xff1f;什么是句子嵌入&#xff1f;句子嵌入模型实现句子嵌入的方法值得尝试的句子嵌入模型 句子嵌入库实践Step 1Step 2Step 3 Doc2…

SwiftUI中三大渐变色的介绍

在SwiftUI中&#xff0c;渐变色是一种常用的视觉效果&#xff0c;用于创建平滑过渡的颜色变化。通过使用渐变色&#xff0c;我们可以实现丰富多彩的界面设计&#xff0c;增强用户体验。 1. 渐变色的种类和用途 种类&#xff1a; 线性渐变&#xff08;Linear Gradient&#x…

oracle多条重复数据,取最新的

1、原理讲解-可直接看2 筛选出最新的 SELECT * FROM ( SELECT t.*, ROW_NUMBER() OVER (PARTITION BY LOCALAUTHID ORDER BY LASTUPDATETIME DESC) AS rn FROM USER_LOCALAUTH_STATE t ) t WHERE t.rn 1; 解释&#xff1a; 这个序号是基于[LOCALAUTHID]字段进行分…

计算机vcruntime140.dll找不到如何修复,分享5种靠谱的修复教程

当您在运行某个应用程序或游戏时遇到提示“找不到vcruntime140.dll”&#xff0c;这通常意味着系统中缺少了Visual C Redistributable for Visual Studio 2015或更高版本的一个重要组件。这个错误通常发生在运行某些程序时&#xff0c;系统无法找到所需的动态链接库文件。小编将…

ASP.NET医药进销存系统

摘 要 目前&#xff0c;大中型城市的多数药品店已经实现了商品管理、客户管理、销售管理及销售管理等的信息化和网络化&#xff0c;提高了管理效率。但是&#xff0c;在大多数小药品店&#xff0c;药品店管理仍然以传统人工管理为主&#xff0c;特别是在药品的采购、销售、库…

电商核心技术揭秘56:客户关系管理与忠诚度提升

相关系列文章 电商技术揭秘相关系列文章合集&#xff08;1&#xff09; 电商技术揭秘相关系列文章合集&#xff08;2&#xff09; 电商技术揭秘相关系列文章合集&#xff08;3&#xff09; 文章目录 引言客户关系管理&#xff08;CRM&#xff09;的重要性提升顾客体验数据驱…

Springboot打包jar如何后台启动和查看日志?

如何后台启动Spring Boot的fat jar 使用nohup命令启动&#xff1a; 在Linux或Unix系统中&#xff0c;你可以使用nohup命令来启动jar包&#xff0c;以确保即使你关闭了终端或断开了SSH连接&#xff0c;程序仍然可以在后台运行。命令格式如下&#xff1a;nohup java -jar yourapp…

PCie协议之-TLP Header详解(一)

✨前言&#xff1a; 在PCIe通信过程中&#xff0c;事务层数据包&#xff08;Transaction Layer Packets&#xff0c;简称TLP&#xff09;扮演着非常重要的角色。TLP用于在设备之间传递数据和控制信息&#xff0c;它们是PCIe的基本信息传输单元。 TLP可分为几个部分&#xff0c…

硬盘格式化后能恢复数据吗?这个恢复方法电脑小白也能用!

硬盘格式化后能恢复数据吗&#xff1f;对于这个问题需要先了解清楚硬盘格式化和数据恢复的原理了。 目前我们所说的硬盘格式化通常都是指“快速格式化”&#xff0c;一般来说当我们在清理磁盘空间或者新建磁盘分区时会使用到这个功能&#xff0c;最终的结果就是清除掉磁盘上的…

“打工搬砖记”中吃什么的轮盘功能实现(二)

文章目录 打工搬砖记转盘主要的逻辑实现转盘的素材小结 打工搬砖记 先来一个吃什么轮盘的预览图&#xff0c;这轮盘文案加字呈圆形铺出来&#xff0c;开始后旋转到指定的选项处停下来。 已上线小程序“打工人搬砖记”&#xff0c;可以扫码进行预览观看。 转盘主要的逻辑实现…

【Unity Shader入门精要 第7章】基础纹理补充内容:MipMap原理

1.纹理采样 我们对纹理采样进行显示的过程&#xff0c;可以理解为将屏幕上的一个像素&#xff08;下文用像素表示&#xff09;映射到纹理上的一个像素&#xff08;下文用纹素表示&#xff09;&#xff0c;然后用纹理上的这个像素的颜色进行显示。 理想情况下&#xff0c;屏幕…