Mysql进阶-sql优化篇

sql优化

  • sql优化
    • insert优化
      • 批量插入
      • 手动提交事务
      • 主键顺序插入
      • 大批量插入数据
    • 主键优化
      • 数据组织方式
      • 页分裂
      • 页合并
      • 主键设计原则
    • order by 优化
      • 原则
    • group by优化
    • limit优化
    • count 优化
      • count的几种用法
    • update优化

sql优化

insert优化

批量插入

Insert into tb_test values(1,'Tom'),(2,'Cat'),(3, erry');

手动提交事务

start transaction;
insert into tb_test values(1,'Tom'),(2,'Cat'),(3,Jerry');
insert into tb_test values(4,'Tom'),(5,'Cat'),(6,Jerry');
insert into tb_test values(7,Tom'),(8,'Cat'),(9,!erry');
commit;

主键顺序插入

# 主键顺序插入: 1,2,3,4,5,6,7....
# 主键乱序插入:1,4,2,6,9,5,8....

大批量插入数据

如果一次性需要插入大批量数据,使用inset语句插入性能较低,此时可以使用MySQL数据库提供的load指令进行插入。操作如下:
在这里插入图片描述

主键优化

数据组织方式

在InnoDB存储引擎中,表数据都是根据主键顺序组织存放的,这种存储方式的表称为索引组织表(index organized table)lOT
在这里插入图片描述

页分裂

页可以为空,也可以填充一半,也可以填充100%。每个页包含了2-N行数据(如果一行数据多大,会行溢出),根据主键排列。
在这里插入图片描述
在这里插入图片描述

性能损耗:页分裂需要重新分配内存并移动数据,这是一项耗时的操作。
空间浪费:页分裂后,新页通常不是完全填满的,这可能导致数据碎片和空间浪费。
树的不平衡:频繁的页分裂可能导致B+树的结构不平衡,进而影响查询性能。

页合并

当删除一行记录时,实际上记录并没有被物理删除,只是记录被标记(flaged)为删除并且它的空间变得允许被其他记录声明使用当页中删除的记录达到 MERGE THRESHOLD(默认为页的50%),InnoDB会开始寻找最靠近的页(前或后)看看是否可以将两个页合并以优化空间使用。
在这里插入图片描述
在这里插入图片描述

主键设计原则

  1. 满足业务需求的情况下,尽量降低主键的长度。
  2. 插入数据时,尽量选择顺序插入,选择使用AUTO INCREMENT自增主键
  3. 尽量不要使用UUID做主键或者是其他自然主键,如身份证号
  4. 业务操作时,避免对主键的修改。

order by 优化

  1. Using filesort:通过表的索引或全表扫描,读取满足条件的数据行,然后在排序缓冲区sort buffer中完成排序操作,所有不是通过索引接返回排序结果的排序都叫 FileSort排序。
  2. Using index:通过有序索引顺序扫描直接返回有序数据,这种情况即为using index,不需要额外排序,操作效率高。

可以给排序字段建索引

# 举个例子
create index idx_age_pho on tb_user(age,phone);
# 还可以为字段值定升序还是降序
create index idx_age_pho on tb_user(age asc,phone desc);

原则

  1. 根据排序字段建立合适的索引,多字段排序时,也遵循最左前缀法则。
  2. 尽量使用覆盖索引。
  3. 多字段排序,一个升序一个降序,此时需要注意联合索引在创建时的规则 (ASC/DESC)。
  4. 如果不可避免的出现filesot,大数据量排序时,可以适当增大排序缓冲区大小 sort buffer size(默认256k)。

group by优化

  1. 在分组操作时,可以通过索引来提高效率。
  2. 分组操作时,索引的使用也是满足最左前缀法则。

limit优化

一个常见又非常头疼的问题就是 limit 2000000,10 ,此时需要MySOL排序前2000010 记录,仅仅返回2000000 - 2000010的记录,其他记录丢弃,查询排序的代价非常大。

优化思路: 一般分页查询时,通过创建 覆盖索引 能够比较好地提高性能,可以通过覆盖索引加子查询形式进行优化。

explain select
* from tb_sku t , (select id from tb_sku order by id limit 2000000,10) a where t.id = a.id:

count 优化

MyISAM:引擎把一个表的总行数存在了磁盘上,因此执行count(*)的时候会直接返回这个数,效率很高;
innoDB引擎:就麻烦了,它执行 count()的时候,需要把数据一行一行地从引擎里面读出来,然后累积计数。

优化思路: 可以使用redis进行计数,当插入一条数据就+1,删除就-1。

count的几种用法

count)是一个聚合函数,对于返回的结果集,一行行地判断,如果count 函数的参数不是 NULL,累计值就加1,否则不加,最后返回累计值。

用法: count (*) 、count (主键)、count (字段)、count (1)

在这里插入图片描述

update优化

innoDB的行锁是针对索引加的锁,不是针对记录加的锁,并且该索引不能失效,否则会从行锁升级为表锁。

update tb_user set name='zhangsan' where name='lisi'
# 如果update的where条件的字段name没有加索引,此时为表锁,事务没有提交的话,其他update不能完成。

后记
👉👉💕💕美好的一天,到此结束,下次继续努力!欲知后续,请看下回分解,写作不易,感谢大家的支持!! 🌹🌹🌹

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/619861.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

一文读懂设计模式-单例模式

单例模式(Singleton Pattern)提供了一种创建对象的最佳方式 单例模式涉及到一个单一的类,该类负责创建自己的对象,同时确保只有单个对象被创建,这个类提供了一种访问其唯一的对象的方式,可以直接访问&…

IPD推行成功的核心要素(四)IPD究竟分几期做更合适?

集成产品开发 IPD体系(Integrated Product Developm e nt)是产品创新型企业关于产品开发(从概念到产品开发、发布直至退市的全过程)的一种理念与方法。IPD体系强调以市场需求作为产品开发的驱动力,将产品开发作为一项投…

快手短剧,和爱优腾踏入同一条河流

文丨黄小艺 “我们定制短剧的重心排序分别是抖音、淘宝、快手。”MCN机构从业者周明(化名)说道,“无论是单条还是品牌冠名剧,我们在快手短剧拿到的收益都相对偏低。” 近期,商业数据派和多家机构创作者沟通后发现&am…

Windows系统安装MongoDB数据库

MongoDB是一个基于分布式文件存储的NoSQL数据库,由C语言编写的。MongoDB的数据存储基本单元是文档,它是由多个键值对有序组合的数据单元,类似于关系数据库中的数据记录。适合存储JSON形式的数据,数据格式自由,不固定。…

区块链共识机制的演进

分布式系统的基本概念 FLP不可能原理和CAP原理 FLP 不可能原理(FLP impossibility):在网络可靠,存在节点失效(即便只有一个)的最小化异步模型系统中,不存在一个可以解决一致性问题的确定性算法…

动手实践DDD领域驱动设计,DDD到底好不好用?真有那么神吗

文章目录 一、到底什么是DDD1、传统的MVC三层架构2、DDD到底解决了什么问题3、DDD四层架构4、为什么需要舍弃MVC而用DDD 二、DDD改造实战1、充血模型2、避免大实体3、Dao改造4、构建防腐层5、抽象中间件6、使用领域服务,封装跨实体业务7、使用设计模式8、改造结果9、…

自然资源-城市更新从立项到开发全流程梳理

自然资源-城市更新从立项到开发全流程梳理 一、城市更新项目分类 (一)按改造力度划分:整治、改建和拆建 按照改造力度由弱到强,城市更新项目可分为 整治类、改建类和 拆建类三种类型。不同城市命名略有不同,但实质相…

知识付费行业数字化转型:转的是什么?你知道吗!

在知识付费的浪潮中,数字化转型正悄然改变着这个行业的格局!那么,知识付费行业数字化转型到底转的是什么呢?这是一个值得我们深入探讨的问题。 1.转的是商业模式:从传统的销售模式转向多元化的盈利模式。从简单的买卖关…

Pycharm2024版,更换安装源

1、选择Python Packages 2、点击图中的小齿轮 3、点击 号 4、添加源地址 常用源如下: 清华:https://pypi.tuna.tsinghua.edu.cn/simple 阿里云:http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn…

MySQL·索引

目录 索引的意义 索引的理解 为何IO交互要是 Page 理解Page 其他数据结构为何不行? 聚簇索引 VS 非聚簇索引 索引操作 主键索引操作 唯一键索引操作 普通索引的创建 总结 全文索引 索引的意义 索引:提高数据库的性能,索引是物美…

挖洞不懂JS?没关系!一个BP小技巧让你快速在JS代码中找到关键信息

我们在漏洞挖掘的时候,一个很重要的方式是对网站的JavaScript代码做审计,比如 找到了一堆path,但是不知道参数,也fuzz不出来,一个可能的未授权接口就只能放弃 数据被加密了,但是不知道算法,需要…

HTML五彩缤纷的爱心

写在前面 小编准备了一个五彩缤纷的爱心,送给各位小美女们~ 在桌面创建一个.txt文本文件,把代码复制进去,将后缀.txt改为.html,然后就可以双击运行啦! HTML简介 HTML(超文本标记语言)是一种…

【HCIP学习】BGP对等体组、聚合、路由反射器、联盟、团体属性

一、大规模BGP网络所遇到的问题 BGP对等体众多,配置繁琐,维护管理难度大 BGP路由表庞大,对设备性能提出挑战 IBGP全连接,应用和管理BGP难度增加,邻居数量过多 路由变化频繁,导致路由更新频繁 二、解决大…

小区物业管理系统

文章目录 小区物业管理系统一、项目演示二、项目介绍三、部分功能截图四、部分代码展示五、底部获取项目源码(9.9¥带走) 小区物业管理系统 一、项目演示 小区物业管理系统 二、项目介绍 基于springbootvue的前后端分离物业管理系统 系统角…

实验12:综合实验

1、实验目的及要求: 通过本次实验完成一个小型网络中配置设备。实现配置一个路由器、两个交换机和两台PC,以支持IPv4和IPv6连接;路由器和交换机必须安全管理,配置VLAN间路由、DHCP、以太网通道和端口安全。通过登录思科网络技术学…

Nginx详解:高性能Web服务器与反向代理的奥秘

Nginx,发音为“engine-x”,是一个开源、高性能的HTTP和反向代理服务器,也是邮件代理服务器。自2004年首次发布以来,Nginx凭借其轻量级、高效能和高并发处理能力,在互联网领域迅速崛起,成为许多大型网站和高…

某东抢购某台脚本——高成功率

某东抢购某台脚本——高成功率 小白操作-仅供学习参考 说明 这段代码主要关联了许多网络请求和对应的业务逻辑处理,用于处理与一个名为“茅台商城”的应用相关的网络操作。主要功能和关键组件的详细说明如下: 全局变量和配置: 使用AES加密…

用迭代加深解决加成序列问题

可以看到这个最坏的结果是100层搜索,但是其实1 2 4 8 16 32 64 128,到128的话也只要8,所以大概只需要10几层搜索就可以解决了,这个时候就可以用迭代加深的方法,深度一点点的加,如果大于概深度就舍去。有人说…

黏土滤镜教程分享:让你的照片瞬间变身黏土艺术

在数字时代的浪潮中,手机摄影和修图软件成为了我们日常生活中不可或缺的一部分。而近期,一款名为“黏土滤镜”的修图功能火爆全网,让无数摄影爱好者和创意达人为之疯狂。本文将为你详细介绍几款拥有黏土滤镜功能的软件,并附上详细…

ChatGPT付费创作系统软件开发

uni-app框架:使用Vue.js开发跨平台应用的前端框架,编写一套代码,可编译到Android、小程序等平台。 框架支持:springboot/Ssm/thinkphp/django/flask/express均支持 前端开发:vue.js 可选语言:pythonjavanode.jsphp均支持 运行软件…