MySQL之sql优化:intsert、主键、order by、group by等

insert优化

批量插入

  • 手动提交事务

主键顺序插入(将在主键优化中介绍)

 

 大批量插入数据

如果一次性需要插入大批量地数据,使用insert语句插入性能较低,此时使用MySQL数据库提供地load指令进行插入

 下图第三条语句表示讲/root/sql.log通过load插入到表tb_user中,每个字段用‘,’分割,每行数据用‘\n’分割

主键优化

数据组织方式

在InnoDB存储引擎中,表数据都是根据主键顺序组织存放地,这种存储方式的表称为索引组织表

 页分裂

页可以为空,也可以填充一半,也可以填充100%。每个页中包含了2-N行数据(如果一行数据过大,会溢出),会根据主键排列。

  • 主键顺序插入

    根据主键依次插入到页中,每个页之家有一个双向指针,不会出现页分裂

  • 主键乱序插入
    • 如下图两个页中已经插满数据

    • 当我们再插入一个id为50的行数据时,由于第一个页和第二个页中已经插满了数据,此时会开启一个新的数据页

    • 此时id为50的数据不会立即插入到第三个页中,会先找到第一个数据页50%的位置,然后将后面的数据移动到第三个页中,然后再将id为50的数据插入到第三个页中

    • 最后这三个页中的链表指针会改变指向,如下图:

      这就是页分裂现象。

页合并

当删除一行记录后,实际上记录并没有被物理删除,只是记录被标记为删除并且它的空间变得允许被其他记录声明使用。

当页中删除的记录达到MERGE_THRESHOLD(合并页的阈值,可以自己设置,在创建表或者创建索引时指定,默认为页的50%),InnoDB会开始寻找最靠近的页(前或后)看看是否可以将这两个页合并以优化空间使用

  • 如下图,删除id为13、14、15、16的行数据,删除的记录达到了页的50%,这时就会进行页合并
  • 下图为页合并后的:
  • 当再插入id为20的数据时,会直接插入到第三个页中

主键设计原则

  • 满足业务需求的情况下,尽量降低主键的长度

  • 插入数据时,尽量选择顺序插入,选择使用主键自增

  • 尽量不要使用UUID做主键或者其他自然主键,如身份证号

  • 业务操作时,避免对主键的修改

order by优化

  1. Using filesort:通过表的索引或全盘扫描,读取满足条件的数据行,然后在排序缓冲区sort buffer中完成排序操作,所有不是通过索引直接返回排序结果的排序都叫FileSort排序

  2. Using index:通过有序索引顺序扫描直接返回有序数据,这种情况即为using index,不需要额外排序,操作效率高

 

 如下图,不同的排序方式叶子节点是不同的:

注意以上建立索引后的排序方式使用Using index的前提是覆盖索引(不需要回表查询),如果不是则使用排序方式是Using filesort

注意事项

  • 根据排序字段建立合适的索引,多字段排序时,也遵循最左前缀法则

  • 尽量使用覆盖索引

  • 多字段排序,一个升序一个降序,此时需要注意联合索引在创建时的规则(ASC/DESC)

  • 如果不可避免地出现filesort,大数据量排序时,可以适当增大排序缓冲区大小sort_buffer_size(默认256K)

group by优化

原理与order by优化类似,这里不再过多介绍

  • 在分组操作时,可以通过索引来提高效率

  • 分组操作时,索引的使用也是满足最左前缀法则的。

limit优化

一个常见又非常头疼的问题就是limit 2000000,10 ,此时需要MySQL排序前2000010记录,仅返回2000000-2000010的记录,其他记录丢弃,查询排序的代价非常大。

优化思路:一般分页查询时,通过创建覆盖索引能够比较好地提高性能,可以通过覆盖索引加子查询进行优化

count优化

  • MyISAM引擎把一个表的总行数存在了磁盘上,因此执行count(*)的时候会直接返回这个数,效率很高(仅限没有where条件)

  • InnoDB引擎就麻烦了,它执行count(*)的时候,需要把数据一行一行地从引擎里面读出来,然后累积计数

优化思路:自己记数

count的几种用法

  • count()是一个聚合函数,对于返回的结果集,一行一行地判断,如果count函数的参数不是NULL,累计值就加1,否则不加,最后返回累计值

  • 用法:

    • count(*):InnoDB引擎并不会把全部字段取出来,而是专门做了优化,不取值,服务层直接按行进行累加                   

    • count(主键):InnoDB引擎会遍历整张表,把每一行的主键di值取出来,返回给服务层。服务层拿到主键后,直接进行累加(主键不可能为null)

    • count(字段):没有not null约束:InnoDB引擎会遍历整张表把每一行的字段值都取出来,返回给服务层,服务层判断是否为null,不为null,记数累加;有not null约束:InnoDB引擎会遍历整张表把每一行的字段值都取出来,返回给服务层,直接进行累加

    • count(1):InnoDB引擎会遍历整张表,但不取值。服务层对于返回的每一行,放一个数字“1”进去,直接按行进行累加,当然“1”也可以改成其他的数字,比如-1,2

    • 效率排序:count(字段)<count(主键 id)<count(1)≈count(*),所以尽量使用count(*)

update优化

InnoDB的行锁是针对索引加的锁,不是针对行记录加的锁,并且该索引不能失效,否则会从行锁升级为表锁。所以update尽可能根据索引更新数据

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/543353.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【算法基础2】前缀和与差分

目录 前缀和与差分1.综述2.前缀和&#xff08;1&#xff09;一维前缀和&#xff08;2&#xff09;二维前缀和&#xff08;子矩阵的和&#xff09; 3.差分&#xff08;1&#xff09;一维差分&#xff08;2&#xff09;二维差分&#xff08;差分矩阵&#xff09; 前缀和与差分 1…

攻防世界---Web_php_include

1.题目链接 2.补充知识&#xff1a; 3.构造&#xff1a;执行成功 /?pagedata://text/plain,<?php phpinfo()?> 4.构造下面url&#xff0c;得到目录路径 /?pagedata://text/plain,<?php echo $_SERVER[DOCUMENT_ROOT]?> 5构造下面url&#xff0c;读取该路径的…

【Linux】进程基础铺垫(二)软件基础:操作系统 (Operator System)

操作系统 软件上 —— 操作系统 (Operator System)为什么要有操作系统的管理&#xff1f;&#xff08;一&#xff09;概念&#xff08;二&#xff09;设计OS的目的&#xff1a;为什么要有操作系统的管理&#xff1f;&#xff08;三&#xff09;定位&#xff08;四&#xff09;如…

B02、垃圾回收 算法 概念-6.1

1、概念 1.1、前言 垃圾收集&#xff0c;不是Java语言的伴生产物。早在1960年&#xff0c;第一门开始使用内存动态分配和垃圾收集技术的Lisp语言诞生。 垃圾收集机制是Java的招牌能力&#xff0c;极大地提高了开发效率。如今&#xff0c;垃圾收集几乎成为现代语言的标配&#…

系统架构最佳实践 -- 一般优惠券思想和方案

1.优惠券系统的核心思想 默认的优惠券系统&#xff1a;根据运营人员设定的条件生成对应的优惠券模板、 优惠券码的要求:唯一性和有一定的识别性 优惠券码的格式&#xff08;一共18位&#xff09;&#xff1a;产品线类型&#xff08;前四位&#xff09;日期随机码&#xff08;中…

大模型应用工具 LangChain 入门书籍: LangChain 简明讲义

书籍信息 书名&#xff1a;《LangChain 简明讲义&#xff1a;从 0 到 1 构建 LLM 应用程序》出版社&#xff1a;电子工业出版社书籍链接&#xff1a;https://item.jd.com/14105705.html书籍配套代码&#xff1a;https://github.com/kebijuelun/langchain_book 书籍背景 计算机…

道可云文旅元宇宙平台:全面赋能文旅产业数字化转型

随着科技的迅猛发展&#xff0c;元宇宙、人工智能和虚拟数字人等技术逐渐成为推动社会进步的重要力量。在这一背景下&#xff0c;道可云文旅元宇宙平台以其独特的创新理念和前沿技术&#xff0c;为数字文博领域带来了革命性的变革。 道可云文旅元宇宙平台运用先进的元宇宙、人…

vue 上传csv文件

index---------主页面&#xff08;图1&#xff09; form-----------子页面&#xff08;图2&#xff09; index.vue /** 重点&#xff01;&#xff01;&#xff01;&#xff01; * 获取表单组件传递的信息&#xff0c;传给后端接口 * param {从form表单传递的数据} datas * Fi…

Java调用http接口的几种方式(HttpURLConnection、OKHttp、HttpClient、RestTemplate)

Java作为后端语言是开发接口实现功能供客户端调用接口&#xff0c;这些客户端中最主要是本项目的前端&#xff1b;但有时候也需要Java请求其他的接口&#xff0c;比如需要长连接转短链接&#xff08;请求百度的一个接口可以实现&#xff09;、获取三方OSS签名、微信小程序签名、…

SpringCloudalibaba之Nacos的配置管理

Nacos的配置管理 放个妹子能增加访问量&#xff1f; 动态配置服务 动态配置服务可以让您以中心化、外部化和动态化的方式管理所有环境的应用配置和服务配置。 动态配置消除了配置变更时重新部署应用和服务的需要&#xff0c;让配置管理变得更加高效和敏捷。 配置中心化管…

基于ssm的智慧餐厅点餐管理系统设计与实现(java项目+文档+元)

风定落花生&#xff0c;歌声逐流水&#xff0c;大家好我是风歌&#xff0c;混迹在java圈的辛苦码农。今天要和大家聊的是一款基于ssm的智慧餐厅点餐管理系统。项目源码以及部署相关请联系风歌&#xff0c;文末附上联系信息 。 项目简介&#xff1a; 智慧餐厅点餐管理系统设计…

寻找好用项目管理软件?你需要知道的关键信息

项目管理的目标就是确保项目高质量的交付&#xff0c;有了项目管理软件让这一切变得不再是难事。项目管理软件哪家好&#xff1f;好用的项目管理软件是什么样的&#xff1f;1.易于集成现有系统、2.灵活定制、3.性价比高、4.支持任务流程自动化。 一、易于集成——丰富场景 为了…

MGRE环境下运行OSPF

一、分析要求 自行定义公网网段和私有网段&#xff0c;ISP设备仅配置IP地址R1/R4/R5构建Full-Mesh结构R1/R2/R3构建Hub-Spoke结构&#xff0c;R1为NHS除ISP设备&#xff0c;其余路由器运行OSPF 二、实施过程 1. 配置IP及环回地址 R1 [R1]int g 0/0/0 [R1-GigabitEthernet0/…

MuseV:不限视频时长的AI视频生成工具

在不久前 OpenAI Sora 以其优秀且惊人的视频生成效果迅速走红&#xff0c;更是在一众文生视频模型中脱颖而出&#xff0c;成为了文生视频领域的领头羊。 同时它也推动了行业内文生视频技术的发展。今天小编为大家分享一款新开源的文生视频项目MuseV&#xff0c;据说可以生成不…

什么是 MVVM、mvc 模型

mvc模型 MVC: MVC 即 model-view-controller&#xff08;模型-视图-控制器)是项目的一种分层架构思想&#xff0c;它把复杂的业务逻辑&#xff0c; 抽离为职能单一的小模块&#xff0c;每个模块看似相互独立&#xff0c;其实又各自有相互依赖关系。它的好处是&#xff1a;保证了…

笔记83:二叉树前中后序遍历(迭代法 + 栈)

题目1&#xff1a;. - 力扣&#xff08;LeetCode&#xff09; 题目2&#xff1a;. - 力扣&#xff08;LeetCode&#xff09; 题目3&#xff1a;. - 力扣&#xff08;LeetCode&#xff09; 注意1&#xff1a;每种遍历方式我都提供了两种方法&#xff0c;带图解的方法为个人尝…

技术周刊的转变:如何平衡热爱与现实?

大家好&#xff0c;我是那个自己打脸自己的猫哥&#xff0c;本来说周刊不做订阅制的&#xff0c;现在却推出了订阅专栏。今天想为自己辩护一下&#xff0c;同时聊聊技术周刊今后的发展计划。 首先回顾一下我过去的想法吧&#xff0c;然后再解释为什么会突然出现转变。 出于对…

Elasticsearch中父子文档的关联:利用Join类型赋予文档的层级关系

码到三十五 &#xff1a; 个人主页 心中有诗画&#xff0c;指尖舞代码&#xff0c;目光览世界&#xff0c;步履越千山&#xff0c;人间尽值得 ! Elasticsearch是一个强大的搜索引擎&#xff0c;它提供了丰富的功能来满足复杂的搜索需求。其中&#xff0c;父子索引类型的join功…

伺服系统中电机磁极偏角自学习的实现方案

一、 电机磁极偏角自学习原理简述 要知道磁极偏角&#xff0c;首先要明确的是磁极角&#xff0c;在我个人的理解里磁极角就是park和Ipark变换里所需的电角度&#xff0c;我们的矢量控制方法是定磁链的&#xff0c;就是要保证两相同步旋转坐标系的Id轴和三相静止坐标系的A轴要重…

自定义多数据源

多数据源 第一章 自定义多数据源 文章目录 多数据源前言一、先在配置文件中配置好多个数据源二、配置数据源的配置文件三、定义动态数据源配置1、自定义了Datasource&#xff0c;主要目的是为了在Spring容器中定义一个datasource的Bean&#xff0c;用于mybtais获取数据库连接使…