平时执行很快的SQL语句,为什么会突然卡一下?

InnoDB在处理更新语句的时候,只做了写日志这一个磁盘操作,这个日志叫作redo log(重做日志),在更新内存写完redo log后,就返回给客户端,本次更新成功。

把内存里的数据写入磁盘的过程,术语是flush。

当内存数据页跟磁盘数据页内容不一致的时候,这个内存页称为“脏页”,内存数据写入磁盘后,内存和磁盘上的数据页的内容就一致了,称为“干净页”。

因此,平时执行很快的更新操作,其实就是在写内存和日志,而卡的那一瞬间,可能就是在刷脏页(flush)。

引发数据库的flush过程有以下4种情况:

1、InnoDB的redo log写满了,这时候系统就会停止所有更新操作,把checkpoint往前推进,redo log留出空间可以继续写。

2、系统内存不足,当需要新的内存页,而内存不够用的时候,就要淘汰一些数据页,空出内存给别的数据页使用,如果淘汰的是“脏页”,就要先将脏页写到磁盘。

3、MySQL认为系统“空闲”的时候。

4、MySQL正常关闭的时候。

其中,第3、4种情况不太会影响性能,我们主要看第1、2种情况。

第1种,“redo log写满了,要flush脏页”,这种情况InnoDB要尽量避免,因为出现这种情况的时候,整个系统就不能再接受更新了,所有更新都必须堵住,从监控上看,这时候更新数会跌为0。

第2种,“内存不够用了,要先将脏页写到磁盘”,这种情况其实是常态。

InnoDB用缓冲池“buffer pool”管理内存,缓冲池中的内存页有三种状态:

  • 还没有使用的

  • 使用了并且是干净页

  • 使用了并且是脏页

InnoDB的策略是尽量使用内存。当要读入的数据页没有在内存的时候,就必须到缓冲池中申请一个数据页。这时候只能把最久不使用的数据页从内存中淘汰掉:如果要淘汰的是一个干净页,就直接释放出来复用;如果是脏页,就必须将脏页先刷到磁盘,变成干净页后才能复用。

所以,刷脏页虽然是常态,但是出现以下这两种情况,都是会明显影响性能的:

  • 一个查询要淘汰的脏页个数太多,会导致查询的响应时间明显变长;

  • 日志写满,更新全部堵住,写性能跌为0,这种情况对敏感业务来说,是不能接受的。

所以,InnoDB需要有控制脏页比例的机制,来尽量避免上面的这两种情况。

InnoDB刷脏页的控制策略:

首先,需要告诉InnoDB所在主机的IO能力,这样InnoDB才能知道需要全力刷脏页的时候,可以刷多快。可以通过参数innodb_io_capacity来控制,这个值建议设置成磁盘的IOPS,可通过下述指令获取。

fio -filename=$filename -direct=1 -iodepth 1 -thread -rw=randrw -ioengine=psync -bs=16k -size=500M -numjobs=10 -runtime=10 -group_reporting -name=mytest

InnoDB控制刷脏页的速度的策略参考了两个因素:脏页比例和redo log写盘速度。

参数innodb_max_dirty_pages_pct是脏页比例上限,默认值是75%。

InnoDB根据当前的脏页比例(记为M),算出一个范围在0到100之间的数字,记为F1(M)。

InnoDB每次写入的日志都有一个序号,当前写入的序号跟checkpoint对应的序号之间的差值,记为N,同样也会计算出一个0到100之间的数字,记为F2(N)。

取F1(M)和F2(N)中较大的值记为R,InnoDB按照innodb_io_capacity*R%来控制刷脏页的速度。如下图所示

图片

可通过下述语句获取当前的脏页比例:

select VARIABLE_VALUE into @a from information_schema.global_status where VARIABLE_NAME = 'Innodb_buffer_pool_pages_dirty';select VARIABLE_VALUE into @b from information_schema.global_status where VARIABLE_NAME = 'Innodb_buffer_pool_pages_total';select @a/@b;

还有一个参数innodb_flush_neighbors,用来控制刷脏页时,如果数据页旁边的数据页刚好是脏页,是否要一起刷掉,这个判断会一直蔓延下去。如果该参数值是1,则会有上述的“连坐”机制,值为0则表示不找邻居,自己刷自己的。如果使用的是SSD这类IOPS比较高的设备,建议把这个参数值设置为0,并且在MySQL8.0中,这个参数值的默认值已经是0了。

正文止。

感兴趣的朋友,欢迎关注我的公众号哈,公众号上已经集成了AI大模型,大家可以过来聊天、问问题了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/311873.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

烟火检测AI边缘计算智能分析网关V4在安防项目中的应用及特点

一、行业背景 随着社会和经济的发展,公共安全和私人安全的需求都在不断增长。人们需要更高效、更准确的安防手段来保障生命财产安全,而人工智能技术正好可以提供这种可能性,通过智能监控、人脸识别、行为分析等手段,大大提高了安防…

JVM初识

什么是JVM? JVM全称是Java Virtual Machine,中文译名Java虚拟机。 JVM本质上是一个运行在计算机上的程序,他的职责是运行Java字节码文件。 JVM的功能 jvm的功能主要分为三部分: 解释和运行 对字节码文件中的指令,实…

【机器学习】模型调参工具:Hyperopt 使用指南

机器学习| 模型调参工具:Hyperopt 使用指南 前言1. Hyperopt是什么?2. Hyperopt的优缺点3. 如何使用 Hyperopt 进行调参3.1 安装 Hyperopt3.2 构建超参数空间3.3 定义目标函数3.4 运行 Hyperopt 优化3.5 获取最优超参数 4. XGB调参代码示例参考资料 前言…

idea编译报错(Maven项目)

idea编译报错 找不到符号 第一步:开启注解处理器 第二步:清理MVN,package并重新编译 第三步:重新导入项目:

SAP PP配置学习(五)

查找 四、 其它 设置 MM 过帐号码范围 定义凭证号码范围 OB52 打开期间 MMPV 开帐 (下篇见)

GC2003七通道NPN 达林顿管,专为符合标准 TTL 而制造

GC2003 内部集成了 7 个 NPN 达林顿晶体管,连接的阵列,非常适合逻辑接口电平数字电路(例 如 TTL,CMOS 或PMOS 上/NMOS)和较高的电流/电压,如电灯电磁阀,继电器,打印机或其他类似的负…

深入探讨:开发连锁餐饮APP的关键技术要点

时下,开发一款功能强大、用户友好的连锁餐饮APP成为许多餐饮企业的当务之急。在本文中,我们将深入探讨开发连锁餐饮APP的关键技术要点,涵盖了前端、后端以及数据库等方面。 一、前端开发 前端是用户与APP交互的入口,因此设计良好…

.NET开源、强大的Web报表统计系统

前言 今天分享一个.NET开源、强大的Web报表统计系统:CellReport。 项目官方介绍 CellReport 诞生的初衷是为了解决日常快速制作统计报表的需要。 CellReport 是一个为复杂统计报表为核心目标的制作、运行工具。你可以使用数据库、excel文件、api服务、已有报表等为…

【开源】基于JAVA语言的康复中心管理系统

目录 一、摘要1.1 项目介绍1.2 项目录屏 二、功能模块2.1 普通用户模块2.2 护工模块2.3 管理员模块 三、系统展示四、核心代码4.1 查询康复护理4.2 新增康复训练4.3 查询房间4.4 查询来访4.5 新增用药 五、免责说明 一、摘要 1.1 项目介绍 基于JAVAVueSpringBootMySQL的康复中…

华为“纯血”鸿蒙加速进场 高校、企业瞄准生态开发新风口

近日,华为终端BG CEO、智能汽车解决方案BU董事长余承东在2024年新年信中提出,开启华为终端未来大发展的新十年。 他特别提到,未来要构建强大的鸿蒙生态,2024年是原生鸿蒙的关键一年,将加快推进各类鸿蒙原生应用的开发…

【Node.js学习 day3——http模块】

创建HTTP服务端 //1.导入http模块 const http require(http);//2.创建服务对象 const server http.createServer((request, response) > {response.end(Hello HTTP Server);//设置响应体 });//3.监听端口,启动服务 server.listen(9000,()>{console.log(服务…

【PaperReading】5. Open-Vocabulary SAM

Category Content 论文题目 Open-Vocabulary SAM: Segment and Recognize Twenty-thousand Classes Interactively 作者 Haobo Yuan1 Xiangtai Li1 Chong Zhou1 Yining Li2 Kai Chen2 Chen Change Loy1 1S-Lab, Nanyang Technological University 2Shanghai Artificial In…

力扣日记1.11-【二叉树篇】450. 删除二叉搜索树中的节点

力扣日记:【二叉树篇】450. 删除二叉搜索树中的节点 日期:2024.1.11 参考:代码随想录、力扣 450. 删除二叉搜索树中的节点 题目描述 难度:中等 给定一个二叉搜索树的根节点 root 和一个值 key,删除二叉搜索树中的 key…

燃情瞬间,智能酒精壁炉点亮户外聚会新潮流

在户外聚会中,一种备受瞩目的装饰品和功能性家居设备正逐渐崭露头角,那就是智能酒精壁炉。这种独特的户外装置不仅为聚会场合带来独特的氛围,还具有许多引人注目的优势。 其明亮的火焰不仅照亮整个场所,还散发出温暖迷人的光芒&am…

创建型模式 | 工厂模式

文章目录 一、简单工厂1.1、原理1.2、核心角色1.3、UML类图1.4、代码实现1.5、总结 二、工厂模式2.1、原理2.2、关键角色2.3、代码实现2.4、总结 三、抽象工厂模式3.1、原理3.2、关键角色3.3、UML类图3.4、工厂模式与抽象工厂模式的区别 前言 工厂模式是最常用的设计模式之一&a…

知识引导的分子生成扩散模型 - KGDiff 评测

一、背景介绍 KGDiff模型是一个基于口袋的知识引导的3D分子生成的扩散模型,来源于上海交通大学计算机学院涂仕奎教授的文章: 《KGDiff: towards explainable target-aware molecule generation with knowledge guidance》。文章链接:*KGDiff…

Qt QTableView和QStandardItemModel包含搜索出现的文本及隐藏顶层节点

前言 使用Qt进行开发时,树结构一般是使用QTreeWidget或使用QTreeViewQStandardItemModel结合。 查找 如果要进行查找树的所有项中,是否包含某文本,就需要遍历。 QTreeWidget查找 以下是使用QTreeWidget进行查找: 首先初始化一…

跟着仙凡兄学习编译Telegram vs2022 2024.1.11编译成功

编译Telegram 本人花了两天,问官方作者终于编译成功Telegram 运行环境:win11 vs2022 参见学习视频:【telegram编译成功,编译遇到的各种问题】https://www.bilibili.com/video/BV11c411x7jm?vd_sourcedf2e51268cc7412cc3937cf3df2…

如何构建Prompt,帮我生成QA,作为召回率检索的测试集?

最近在做搜索召回率的提升工作。粮草未动兵马先行!在做之前应该先有一把尺子来衡量召回率的好坏。所以应该先构建测试数据集,然后去做标准化测试。 有了测试机集以后。再去做搜索优化,才能看出来效果。 当然可以选择一些开源的测试集。如果可…

【OpenCV学习笔记04】- 绘图功能

这是对于 OpenCV 官方文档的 GUI 功能的学习笔记。学习笔记中会记录官方给出的例子,也会给出自己根据官方的例子完成的更改代码,同样彩蛋的实现也会结合多个知识点一起实现一些小功能,来帮助我们对学会的知识点进行结合应用。 如果有喜欢我笔…