10 索引优化与查询优化

文章目录

  • 索引失效案例
  • 关联查询优化
      • 对于左外连接
      • 对于内连接
      • JOIN语句原理
        • 简单嵌套循环连接SNLJ
        • 索引嵌套循环连接INLJ
        • 块嵌套循环连接BNLJ
        • Hash Join
  • 子查询优化
  • 排序优化
      • filesort算法:双路排序和单路排序
  • 分组优化
  • 分页优化
  • 优先考虑覆盖索引
  • 索引下推ICP
      • 使用条件
  • 其他查询优化策略

MySQL中提高性能的最有效的方式是对数据表设计合理的索引,使用索引可以快速地定位表中的某条记录,从而提高数据库查询的速度,提高数据库的性能。如果查询时没有使用索引,查询语句就会扫描表中的所有记录,在数据量大的情况下,这样查询的速度就会很慢。

大多数情况下默认采用B+树来构建索引。

索引是否采用是由基于cost开销的优化器决定的,另外,是否使用索引跟数据库版本、数据量和数据选择度都有关系。

索引失效案例

  1. 全值匹配我最爱

  2. 最佳左前缀法则
    MySQL中一个索引可以包括16个字段,它检索数据时遵守最佳左前缀匹配原则,即从联合索引的最左边字段开始匹配
    用户在创建索引时,对于多列索引,过滤条件要使用索引必须按照索引建立的顺序,依次满足,一旦跳过某个字段,索引后面的字段都失效。如果查询条件中没有使用第一个字段,联合索引不会被使用

  3. 主键插入顺序
    如果插入的主键值忽大忽小,则可能会造成页分裂和记录移位

  4. 计算、函数会导致索引失效

  5. 类型转换(自动或手动)导致索引失效

  6. 范围条件右边的列索引失效

  7. 不等于(≠或<>)索引失效

  8. is null可以使用索引,is not null索引失效

  9. LIKE以通配符%开头索引失效

  10. OR前后存在非索引的列索引失效

  11. 数据库和表的字符集统一使用utf8mb4

关联查询优化

对于左外连接

SELECT * FROM `type` LEFT JOIN book ON type.card = book.card;

type相当于驱动表,book相当于被驱动表
如果左连接中,只能给一个字段添加索引,就要添加给被驱动表,原因是左连接左边一定都有,关键在于如何从右表搜索行。

对于内连接

由查询优化器来决定谁作为驱动表,谁作为被驱动表出现
如果表的连接条件只能有一个字段有索引,则有索引的字段所在的表会作为被驱动表
在两个表都存在索引的情况下,会选择小表作为驱动表

JOIN语句原理

简单嵌套循环连接SNLJ
索引嵌套循环连接INLJ

优化思路是减少内层表数据的匹配次数,所以要求是被驱动表上必须有索引
在这里插入图片描述

块嵌套循环连接BNLJ

如果被驱动表中没有索引,那么被扫描的次数太多了,IO次数也很多。
优化思路是减少被驱动表的IO次数,一块一块地获取驱动表的数据。引入join buffer缓冲区,将驱动表相关的部分数据列缓冲到join buffer中,然后全盘扫描被驱动表,被驱动表中的每一条记录一次性跟buffer中的所有驱动表记录进行匹配,降低了被驱动表的访问频率

在这里插入图片描述

Hash Join

是做大数据集连接时常用方式,优化器将相对较小的表在内存中建立散列值,然后扫描较大的表并探测散列值,找出与Hash表匹配的行

  1. 这种方式适用于较小的表完全可以放入内存中的情况,这样总成本就是访问两个表的成本之和

  2. 若表很大不能完全放入内存,这是优化器会将其分割成若干个不同的分区,不能放入内存的部分就把该分区写入磁盘的临时段

  3. 能够很好的工作于没有索引的大表和并行查询的环境中,并提供很好的性能。

  4. 只能应用于等值连接,这是由hash的特点决定的

子查询优化

概念:一个SELECT查询的结果作为另一个SELECT语句的条件,使用子查询可以实现查询语句的嵌套查询

子查询的执行效率不高的原因:1.MySQL需要为内层查询语句的查询结果建立一个临时表,然后外层查询语句从临时表中查询记录,查询完毕后再撤销这些临时表。这样会消耗过多的CPU和IO资源,产生大量的慢查询
2.子查询结果集存储的临时表,不会存在索引,所以查询性能会收到影响
3.对于返回结果较大的子查询,其对查询性能的影响也就越大

使用连接查询代替子查询

SELECT * FROM student stu 
WHERE stu.stuno IN (
  SELECT monitor FROM class c
  WHERE monitor IS NOT NULL
);

SELECT stu.* FROM student stu 
JOIN class c ON stu.stuno=c.monitor 
WHERE c.monitor IS NOT NULL
SELECT stu.* FROM student stu 
WHERE stu.stuno NOT IN (
  SELECT monitor FROM class c
  WHERE monitor IS NOT NULL
);

SELECT stu.* FROM student stu 
LEFT OUTER JOIN class c ON stu.stuno=c.monitor 
WHERE c.monitor IS NOT NULL

排序优化

排序使用索引的原因:索引可以保证数据的有序性,效率更高,filesort排序一般在内存中进行,占用CPU较多,如果待排序结果较大,会产生临时文件IO到磁盘进行排序的情况,效率较低。

  1. 增加LIMIT过滤条件索引有效

  2. 保证字段顺序索引有效

  3. 升序降序一致或顺序全不一致索引有效

filesort算法:双路排序和单路排序

双路排序:扫描磁盘读取order列,在buffer中进行排序,再按照排序列表从磁盘中读取其他字段

单路排序:从磁盘读取所有列,在buffer中按照order进行排序,之后输出。它的效率更快一点,避免了第二次读取数据,并且把随机IO变成了顺序IO,但是他会使用更多的空间

分组优化

类似于排序优化

分页优化

  1. 在索引上完成排序分页操作,然后根据主键关联回原表查询所需要的其他列内容

  2. 将LIMIT查询转换为某个位置的查询

优先考虑覆盖索引

概念:建索引的字段覆盖了查询条件所涉及的字段。索引的叶子节点存储了所需要的数据,通过读取索引就可以得到所需数据无需回表

好处:避免进行回表;可以把随机IO变成顺序IO

弊端:索引字段的维护是有代价的

索引下推ICP

是MySQL5.6的新特性,是一种在存储引擎层使用索引过滤数据的优化方式。ICP可以减少回表的次数以及MySQL服务器访问存储引擎的次数

启用ICP后,如果WHERE条件可以使用索引中的列进行筛选,则MySQL服务器会把这部分条件使用索引条目进行筛选数据,最后才回表读取数据

使用条件

  1. 只能用于二级索引

  2. EXPLAIN显示的执行计划中type值为range、ref、eq_ref和ref_or_null

  3. 只有在索引列中的WHERE条件字段才可以用ICP筛选

  4. ICP可以用于MyISAM和InnoDB存储引擎

  5. 当SQL使用覆盖索引时,不支持ICP优化方法

  6. 相关子查询条件不能使用ICP

其他查询优化策略

  1. EXISTS和IN的区分
    SELECT * FROM A WHERE cc IN (SELECT cc FROM B),哪个表小就用哪个表来驱动,A表小就用EXISTS,B表小就用IN

  2. COUNT()、COUNT(1)和COUNT(具体字段)的效率
    · COUNT(
    )和COUNT(1)都是统计所有结果,本质上没有区别,如果有WHERE子句,则是对所有符合条件的数据行进行统计,如果没有WHERE子句,则是对数据表的数据行数进行统计
    · 如果是MyISAM,统计数据表的行数只需要O(1)的复杂度,因为每个数据表都有一个meta信息存储了row_count值,其一致性由表级锁保证;如果是InnoDB,因为其支持事务,采用行级锁和MVCC机制,无法维护一个row_count变量,因此需要扫描全表,是O(n)的复杂度
    · 在InnoDB中,如果采用COUNT(具体字段)来统计具体数据行数,尽量采用二级索引。因为聚簇索引包含的信息多。对于COUNT(*)、COUNT(1),不需要查找具体的行,只是统计行数,系统会自动采用空间更小的二级索引来统计

  3. SELECT(*)
    尽量不要使用**,因为需要通过查询数据字典转换为所有列名,这会耗费资源和时间;且无法使用覆盖索引

  4. LIMIT 1对优化的影响
    针对全盘扫描,如果确定结果集只有一条,加上LIMIT 1,扫描到一条结果就不会再扫描,这样会加快查询速度。如果对字段已经建立了唯一索引,则不会进行全盘扫描,不需要加LIMIE 1

  5. 多使用COMMIT
    程序性能会得到提高,需求会因为COMMIT所释放的资源而减少。COMMIT所释放的资源有:回滚段上用于恢复数据的信息,被程序语句获得的锁,redo / undo log buffer中的空间,管理上述3中资源的内部花费

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/119047.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Python语言高级实战-内置函数super()的使用之类的多继承(附源码和实现效果)

实现功能 super()函数的调用顺序是按照方法解析顺序&#xff08;Method Resolution Order, MRO&#xff09;来确定的。MRO 是一个确定继承顺序的算法&#xff0c;它使用 C3 线性化算法来避免潜在的方法冲突。Python会根据继承顺序自动计算 MRO&#xff0c;我们只需要使用 supe…

c语言从入门到实战——操作符详解

操作符详解 前言1. 操作符的分类2. 二进制和进制转换2.1 2进制转10进制2.1.1 10进制转2进制数字 2.2 2进制转8进制和16进制2.2.1 2进制转8进制2.2.2 2进制转16进制 3. 原码、反码、补码4. 移位操作符4.1 左移操作符4.2 右移操作符 5. 位操作符&#xff1a;&、|、^、~6. 单目…

力扣 138. 随机链表的复制

题目描述&#xff1a; 给你一个长度为 n 的链表&#xff0c;每个节点包含一个额外增加的随机指针 random &#xff0c;该指针可以指向链表中的任何节点或空节点。 构造这个链表的 深拷贝。 深拷贝应该正好由 n 个 全新 节点组成&#xff0c;其中每个新节点的值都设为其对应的…

伦敦金开户需要多少资金,有开户条件吗?

伦敦金&#xff08;London Gold&#xff09;是黄金市场中备受瞩目的投资种类之一&#xff0c;无论是专业投资者还是新手&#xff0c;都对伦敦金感兴趣。但关于开户需要多少资金&#xff0c;以及是否有特定的开户条件&#xff0c;这些问题可能会让一些新手投资者感到困惑。 首先…

GPT-4V:AI在医疗领域的应用

OpenAI最新发布的GPT-4V模型为ChatGPT增添了语音和图像功能&#xff0c;为用户提供了更多在日常生活中使用ChatGPT的方式。这次更新将为用户带来更加便捷、直观的交互体验&#xff0c;用户可以直接通过拍照上传图片&#xff0c;并提出相关问题。OpenAI的最终目标是构建一个安全…

云服务器哪家便宜靠谱 | 简单了解亚马逊云科技发展史

云服务器哪家便宜又靠谱呢&#xff1f;为什么说亚马逊云科技在这道题答案的第一行&#xff0c;一篇故事告诉你。 1994年&#xff0c;杰夫贝索斯在西雅图创建了亚马逊&#xff0c;最初只是一个在线书店。 1997年&#xff0c;亚马逊在纳斯达克交易所上市&#xff0c;成为一家公…

大模型的实践应用5-百川大模型(Baichuan-13B)的模型搭建与模型代码详细介绍,以及快速使用方法

大家好,我是微学AI,今天给大家介绍一下大模型的实践应用5-百川大模型(Baichuan-13B)的模型搭建与模型代码详细介绍,以及快速使用方法。 Baichuan-13B 是由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型,在权威的中文和英文 benchmark 上均…

SVG循环滑动效果

1.循环滑动图&#xff08;4张) 效果图 svg滑块视频 代码&#xff1a;&#xff08;如果要调整整体的速度和时间请对begin“1s” dur"12s"属性进行编辑&#xff09; <section style"margin: 0px auto;display: block;width: 100%;" data-mpa-powered-by…

一文深入搞懂ARM处理器架构

1、嵌入式处理器基础 典型的微处理器由控制单元、程序计数器&#xff08;PC&#xff09;、指令寄存器&#xff08;IR&#xff09;、数据通道、存储器等组成 。 指令执行过程一般分为&#xff1a; 取指&#xff1a; 从存储器中获得下一条执行的指令读入指令寄存器&#xff1…

PTA 编程题(C语言)-- 连续因子

题目标题&#xff1a; 连续因子 题目作者 陈越 浙江大学 一个正整数 N 的因子中可能存在若干连续的数字。例如 630 可以分解为 3567&#xff0c;其中 5、6、7 就是 3 个连续的数字。给定任一正整数 N&#xff0c;要求编写程序求出最长连续因子的个数&#xff0c…

JavaEE的渊源

JavaEE的渊源 1. JavaEE的起源2. JavaEE与Spring的诞生3. JavaEE发展历程&#xff08;2003-2007&#xff09;4. JavaEE发展历程&#xff08;2009-至今&#xff09;5. Java的Spec数目与网络结构 1. JavaEE的起源 我们首先来讲一下JavaEE的起源 ,为什么要来讲起源 &#xff1f; …

良品铺子、三只松鼠、来伊份双11内卷!谁是“新王”?

今年双11&#xff0c;三只松鼠(300783.SZ)&#xff0c;良品铺子(603719.SH)和来伊份(603777.SH)的休闲零食产品在各大电商平台火热营销&#xff1b;营销热业绩冷&#xff0c;其三季报均不理想。 「不二研究」据其三季报发现&#xff1a;今年前三季度&#xff0c;良品铺子、三只…

如何给WSL2缩减硬盘(即减小虚拟大小)?

如何给WSL2缩减硬盘&#xff08;即减小虚拟大小&#xff09;&#xff1f; 1.软件环境⚙️&#x1f50d;2.问题描述&#x1f50d;&#x1f421;3.解决方法&#x1f421;&#x1f914;4.结果预览&#x1f914; 1.软件环境⚙️ Windows10 教育版64位 WSL 2 Ubuntu 20.04 &#x1f…

微信小程序之自定义组件开发

1、前言 从小程序基础库版本 1.6.3 开始&#xff0c;小程序支持简洁的组件化编程。所有自定义组件相关特性都需要基础库版本 1.6.3 或更高。开发者可以将页面内的功能模块抽象成自定义组件&#xff0c;以便在不同的页面中重复使用&#xff1b;也可以将复杂的页面拆分成多个低耦…

泛微OA_lang2sql 任意文件上传漏洞复现

简介 泛微OA E-mobile系统 lang2sql接口存在任意文件上传漏洞&#xff0c;由于后端源码中没有对文件没有校验&#xff0c;导致任意文件上传。攻击者可利用该参数构造恶意数据包进行上传漏洞攻击。 漏洞复现 FOFA语法&#xff1a; title"移动管理平台-企业管理" 页…

【Mybatis】3 的操作类型对象

前言知识汇总 上篇文章中我们已经详细介绍了Mybatis的存储类对象。我们上篇提到了&#xff1a; Mapper.xml当中的SQL标签都被解析成了一个一个的MappedStatement对象。那么我们当中的SQL是基于什么形式进行封装的呢&#xff1f; 我们要知道&#xff0c;Java当中一切皆对象。M…

人人都会的 Blazor —— 1.3 项目结构

项目结构 使用 Visual Studio 2022 创建 Blazor 项目。 在搜索框中输入【blazor】关键字,将列出以下已经存在的项目模板: Blazor Server App:基于 Blazor Server 托管模型的项目,并建立一些示例代码和组件;Blazor WebAssembly App:基于 Blazor WebAssembly 托管模型的项…

优维低代码实践:打包发布

导语 优维低代码技术专栏&#xff0c;是一个全新的、技术为主的专栏&#xff0c;由优维技术委员会成员执笔&#xff0c;基于优维7年低代码技术研发及运维成果&#xff0c;主要介绍低代码相关的技术原理及架构逻辑&#xff0c;目的是给广大运维人提供一个技术交流与学习的平台。…

uniapp使用vue3和ts开发小程序自定义tab栏,实现自定义凸出tabbar效果

要实现自定义的tabbar效果&#xff0c;可以使用自定义tab覆盖主tab来实现&#xff0c;当程序启动或者从后台显示在前台时隐藏自带的tab来实现。自定义一个tab组件&#xff0c;然后在里面实现自定义的逻辑。 组件中所使用的组件api可以看&#xff1a;Tabbar 底部导航栏 | uView…

【今天放个大招,带你手把手搭建 Jenkins 的分布式构建】

UI 自动化测试代码写完了以后&#xff0c;会放到 Jenkins 这样的持续集成工具上去构建。 如果 Jenkins 平台是搭建在服务器上&#xff0c;会面临 2 个问题&#xff1a; 第一个问题是 UI 自动化测试需要渲染界面&#xff0c;需要消耗大量的 CPU 和内存资源&#xff0c;如果服务器…