1.1 SQL及索引优化

  根据需求写出良好的SQL，并创建有效的索引，实现某一种需求可以多种写法，这时候我们就要选择一种效率最高的写法。这个时候就要了解sql优化。

1.2 数据库表结构优化

  根据数据库的范式设计表结构，表结构设计的好坏直接关系到SQL语句的执行效率。

1.3 系统配置优化

  大多数运行在Linux机器上，如tcp连接数的限制、打开文件数的限制、安全性的限制，因此我们要对这些配置进行相应的优化。

1.4 硬件配置优化

  选择适合数据库服务的cpu，更快的IO，更高的内存；cpu并不是越多越好，某些数据库版本有最大的限制，IO操作并不是减少阻塞。

2 SQL及索引优化

2.1 慢查日志

2.1.1 检查慢查日志是否开启

show variables like 'slow_query_log';
show variables like 'log_qyeries_not_using_indexes';
# 检查查询结果的value值是OFF还是ON,如果为OFF则通过下面的命令修改值
set global slow_query_log=on;
set global log_queries_not_using_indexes=on;
# 检查慢日志的位置信息
show variables like ‘slow_query_log_file’;
# 然后监控查询出来的日志文件

2.1.2 MySQL慢查日志的存储格式

# SQL执行时间
SET timestamp=1689228091;
# SQL的执行内容
SELECT ORG_ID,ROUTE_ID,COUNT(*) VEH_COUNT FROM (SELECT ORG_ID,ROUTE_ID,PLATE FROM TD_BUS_ARRANGES  WHERE PLATE IN (SELECT * FROM TN_BUS_VEH_COUNTER_INS) GROUP BY ORG_ID,ROUTE_ID,PLATE) A GROUP BY ORG_ID,ROUTE_ID;
# 查询的执行时间
Time: 2023-07-13T06:01:31.655194Z
# 执行SQL的主机信息
User@Host: root[root] @  [192.168.130.79]  Id:     9
# SQL的查询耗时
Query_time: 40.626665  
# SQL锁定时间
Lock_time: 0.000061 
# 所发送的行数
Rows_sent: 0
# 锁扫描的行数
Rows_examined: 2002971

2.2 MySQL慢查日志分析工具（mysqldumpslow）

2.2.1 介绍

  如何进行查看慢查询日志，如果开启了慢查询日志，就会生成很多的数据，然后我们就可以通过对日志的分析，生成分析报表，然后通过报表进行优化。

2.2.2 用法

  在mysql数据库所在的服务器上，而不是在mysql>命令行中，直接执行mysql自带的mysqldumpslow工具命令：

# 查看慢查询日志的前10个SQL
mysqldumpslow -t 10 /var/lib/mysql/1850ef43b7c4-slow.log

  如上图两条就是分析的结果，每条结果都显示是执行时间，锁定时间，发送的行数，扫描的行数。这个工具是最常用的工具，通过安装mysql进行附带安装，但是该工具统计的结果比较少，对我们的优化锁表现的数据还是比较少。

2.3 MySQL慢查日志分析工具(pt-query-digest)

2.3.1 安装pt-query-digest工具

yum install wget
wget  https://www.percona.com/downloads/percona-toolkit/2.2.16/RPM/percona-toolkit-2.2.16-1.noarch.rpm
yum localinstall -y  percona-toolkit-2.2.16-1.noarch.rpm
# 如果出现complete，则成功安装。
wget http://percona.com/get/pt-summary

2.3.2 工具使用简介

2.3.2.1 查看服务器信息

[root@localhost ~]# pt-summary
# Percona Toolkit System Summary Report ######################
        Date | 2023-07-13 09:44:43 UTC (local TZ: CST +0800)
    Hostname | localhost.localdomain
      Uptime |  3:41,  3 users,  load average: 3.01, 3.10, 2.98
      System | VMware, Inc.; VMware Virtual Platform; vNone (Other)
 Service Tag | VMware-56 4d 30 99 c8 b7 54 9a-e1 0e 02 65 ce ac 0f df
    Platform | Linux
     Release | CentOS Linux release 7.9.2009 (Core)
      Kernel | 3.10.0-1160.el7.x86_64
Architecture | CPU = 64-bit, OS = 64-bit
   Threading | NPTL 2.17
     SELinux | Enforcing
 Virtualized | VMWare
...

2.3.2.2 查看磁盘开销使用信息

pt-diskstats

2.3.2.3 查看mysql数据库信息

pt-mysql-summary --user=root --password=123456

2.3.2.4 分析慢查询日志

pt-query-digest 慢日志路径

2.3.2.5 查找mysql的从库和同步状态

pt-slave-find --host=localhost --user=root --password=123456

2.3.2.6 查看mysql的死锁信息

pt-deadlock-logger --user=root --password=574110 --host=localhost

2.3.2.7 从慢查询日志中分析索引使用情况

pt-index-usage --user=root --password=574110 /var/lib/mysql/localhost-slow.log

2.3.2.8 查找数据库表中重复的索引

pt-duplicate-key-checker --user=root --password=123456

2.3.2.9 查看mysql表和文件的当前活动IO开销

pt-ioprofile

2.3.2.10 查看不同mysql配置文件的差异

pt-config-diff /etc/my.cnf   /etc/my_master.cnf

2.3.2.11 获取慢日志分析报告

pt-query-digest --user=root --password=574110 /var/lib/mysql/localhost-slow.log > slow.report

2.4 如何通过慢查日志发现有问题的SQL

2.4.1 查询次数多且每次查询占用时间长的sql

  通常为pt-query-digest分析的前几个查询；该工具可以很清楚的看出每个SQL执行的次数及百分比等信息，执行的次数多，占比比较大的SQL。

2.4.2、IO大的sql

  注意pt-query-digest分析中的Rows examine项。扫描的行数越多，IO越大。

2.4.3 未命中的索引的SQL

  注意pt-query-digest分析中的Rows examine 和Rows Send的对比。说明该SQL的索引命中率不高，对于这种SQL，我们要重点进行关注。

2.5 通过explain查询分析SQL的执行计划

2.5.1 使用explain查询SQL的执行计划

  SQL的执行计划侧面反映出了SQL的执行效率，具体执行方式如下所示：

在执行的SQL前面加上explain关键词即可；

EXPLAIN SELECT
            leave_station_area_id,
            ROUND( ( SUM( station_dist ) / 1000 ) / ( SUM( station_travel_time ) / 60 ), 2 ) evnPeakAvgSpeed
        FROM
            V3_SHIFT_ANALYSIS
        WHERE
            STAT_DATE = DATE_SUB( CURRENT_DATE, INTERVAL 1 DAY )
            AND LEAVE_STATION_AREA_ID IS NOT NULL
            AND STATION_LEAVE_TIME > '17:00:00'
            AND STATION_ARRIVE_TIME < '19:00:00'
        GROUP BY
            leave_station_area_id

id : # 列数字越大越先执行，如果说数字一样大，那么就从上往下依次执行，id列为null的就表是这是一个结果集，不需要使用它来进行查询。
select_type：
     simple：#  表示不需要union操作或者不包含子查询的简单select查询。有连接查询时，外层的查询为simple，且只有一个。
     primary： # 一个需要union操作或者含有子查询的select，位于最外层的单位查询的select_type即为primary。且只有一个。
     union：# union连接的两个select查询，第一个查询是dervied派生表，除了第一个表外，第二个以后的表select_type都是union。
     dependent union：# 与union一样，出现在union 或unionall语句中，但是这个查询要受到外部查询的影响。
     union result：# 包含union的结果集，在union和unionall语句中,因为它不需要参与查询，所以id字段为null。
     subquery： # 除了from字句中包含的子查询外，其他地方出现的子查询都可能是subquery。
     dependentsubquery： # 与dependent union类似，表示这个subquery的查询要受到外部表查询的影响。
     derived： # from字句中出现的子查询，也叫做派生表，其他数据库中可能叫做内联视图或嵌套select。
table：# 显示的查询表名，如果查询使用了别名，那么这里显示的是别名，如果不涉及对数据表的操作，那么这显示为null，如果显示为尖括号括起来的<derived N>就表示这个是临时表，后边的N就是执行计划中的id，表示结果来自于这个查询产生。如果是尖括号括起来的<union M,N>，与<derived N>类似，也是一个临时表，表示这个结果来自于union查询的id为M,N的结果集。
partitions：# 如果表为分区表，这里则会显示查询的是那些分区。
type： # 依次从好到差：system，const，eq_ref，ref，fulltext，ref_or_null，unique_subquery，index_subquery，range，index_merge，index，ALL，除了all之外，其他的type都可以使用到索引，除了index_merge之外，其他的type只可以用到一个索引
     system： # 表中只有一行数据或者是空表，且只能用于MyISAM和Memory引擎的表。如果是Innodb引擎表，type列在这个情况通常都是all或者index。
     const: # 使用唯一索引或者主键，返回记录一定是1行记录的等值where条件时，通常type是const。其他数据库也叫做唯一索引扫描。
     eq_ref： # 出现在要连接过个表的查询计划中，驱动表只返回一行数据，且这行数据是第二个表的主键或者唯一索引，且必须为not null，唯一索引和主键是多列时，只有所有的列都用作比较时才会出现eq_ref
     ref： # 不像eq_ref那样要求连接顺序，也没有主键和唯一索引的要求，只要使用相等条件检索时就可能出现，常见与辅助索引的等值查找。或者多列主键、唯一索引中，使用第一个列之外的列作为等值查找也会出现，总之，返回数据不唯一的等值查找就可能出现。
     fulltext： # 全文索引检索，要注意，全文索引的优先级很高，若全文索引和普通索引同时存在时，mysql不管代价，优先选择使用全文索引。
     ref_or_null： # 与ref方法类似，只是增加了null值的比较。实际用的不多。
     unique_subquery： # 用于where中的in形式子查询，子查询返回不重复值唯一值。
     index_subquery： # 用于in形式子查询使用到了辅助索引或者in常数列表，子查询可能返回重复值，可以使用索引将子查询去重。
     range： # 索引范围扫描，常见于使用>,<,is null,between ,in ,like等运算符的查询中。
     index_merge： # 表示查询使用了两个以上的索引，最后取交集或者并集，常见and ，or的条件使用了不同的索引，官方排序这个在ref_or_null之后，但是实际上由于要读取多个索引，性能可能大部分时间都不如range。
     index： # 索引全表扫描，把索引从头到尾扫一遍，常见于使用索引列就可以处理不需要读取数据文件的查询、可以使用索引排序或者分组的查询。
     all： # 这个就是全表扫描数据文件，然后再在server层进行过滤返回符合要求的记录。
possible_keys： # 查询可能使用到的索引都会在这里列出来。
key： # 查询真正使用到的索引，select_type为index_merge时，这里可能出现两个以上的索引，其他的select_type这里只会出现一个。
key_len # 用于处理查询的索引长度，如果是单列索引，那就整个索引长度算进去，如果是多列索引，那么查询不一定都能使用到所有的列，具体使用到了多少个列的索引，这里就会计算进去，没有使用到的列，这里不会计算进去。留意下这个列的值，算一下你的多列索引总长度就知道有没有使用到所有的列了。要注意，mysql的ICP特性使用到的索引不会计入其中。另外，key_len只计算where条件用到的索引长度，而排序和分组就算用到了索引，也不会计算到key_len中。
ref: # 如果是使用的常数等值查询，这里会显示const，如果是连接查询，被驱动表的执行计划这里会显示驱动表的关联字段，如果是条件使用了表达式或者函数，或者条件列发生了内部隐式转换，这里可能显示为func。
rows： # 这里是执行计划中估算的扫描行数，不是精确值。
filtered： # 这个字段表示存储引擎返回的数据在server层过滤后，剩下多少满足查询的记录数量的比例，注意是百分比，不是具体记录数。
extra： 
      distinct: # 在select部分使用了distinc关键字。
      no tables used： # 不带from字句的查询或者From dual查询。
      using filesort： # 排序时无法使用到索引时，就会出现这个。常见于order by和group by语句中。看到这个的时候，查询就需要优化了。MySQL需要进行额外的步骤来发现如何对返回的行排序。它根据连接类型以及存储排序键值和匹配条件的全部行的行指针来排序全部行。
      using index： # 查询时不需要回表查询，直接通过索引就可以获取查询的数据。
      using join buffer（block nested loop），using join buffer（batched key accss）： # 5.6.x之后的版本优化关联查询的BNL，BKA特性。主要是减少内表的循环数量以及比较顺序地扫描查询。
      using intersect：# 表示使用and的各个索引的条件时，该信息表示是从处理结果获取交集。
      using union：# 表示使用or连接各个使用索引的条件时，该信息表示从处理结果获取并集。
      using sort_union和usingsort_intersection：# 与前面两个对应的类似，只是他们是出现在用and和or查询信息量大时，先查询主键，然后进行排序合并后，才能读取记录并返回。
      using temporary：# 表示使用了临时表存储中间结果。临时表可以是内存临时表和磁盘临时表，执行计划中看不出来，需要查看status变量，used_tmp_table，used_tmp_disk_table才能看出来。看到这个的时候，查询就需要优化了。
      using where：# 表示存储引擎返回的记录并不是所有的都满足查询条件，需要在server层进行过滤。查询条件中分为限制条件和检查条件，5.6之前，存储引擎只能根据限制条件扫描数据并返回，然后server层根据检查条件进行过滤再返回真正符合查询的数据。
      using index condition： # 5.6.x之后支持ICP特性，可以把检查条件也下推到存储引擎层，不符合检查条件和限制条件的数据，直接不读取，这样就大大减少了存储引擎扫描的记录数量。
      firstmatch(tb_name)：# 5.6.x开始引入的优化子查询的新特性之一，常见于where字句含有in()类型的子查询。如果内表的数据量比较大，就可能出现这个。
      loosescan(m..n)：# 5.6.x之后引入的优化子查询的新特性之一，在in()类型的子查询中，子查询返回的可能有重复记录时，就可能出现这个。

2.6 索引的优化

2.6.1 什么是索引

  索引的作用相当于图书的目录，可以根据目录中的页码快速找到所需的内容。数据库使用索引以找到特定值，然后顺指针找到包含该值的行。在表中建立索引，然后在索引中找到符合查询条件的索引值，最后通过保存在索引中的ROWID（相当于页码）快速找到表中对应的记录。索引的建立是表中比较有指向性的字段，相当于目录，比如说行政区域代码，同一个地域的行政区域代码都是相同的，那么给这一列加上索引，避免让它重复扫描，从而达到优化的目的。

2.6.2 如何创建索引

  在执行CREATE TABLE语句时可以创建索引，也可以单独用CREATE INDEX或ALTER TABLE来为表增加索引。

2.6.2.1 ALTER TABLE

  ALTER TABLE用来创建普通索引、UNIQUE索引或PRIMARY KEY索引。

ALTER TABLE table_name ADD INDEX index_name (column_list)
ALTER TABLE table_name ADD UNIQUE (column_list)
ALTER TABLE table_name ADD PRIMARY KEY (column_list)

  其中table_name是要增加索引的表名，column_list指出对哪些列进行索引，多列时各列之间用逗号分隔。索引名index_name可选，缺省时，MySQL将根据第一个索引列赋一个名称。另外，ALTER TABLE允许在单个语句中更改多个表，因此可以在同时创建多个索引。

2.6.2.2 CREATE INDEX

  CREATE INDEX可对表增加普通索引或UNIQUE索引。

CREATE INDEX index_name ON table_name (column_list)
CREATE UNIQUE INDEX index_name ON table_name (column_list)

  table_name、index_name和column_list具有与ALTER TABLE语句中相同的含义，索引名不可选。另外，不能用CREATE INDEX语句创建PRIMARY KEY索引。

2.6.2.3 索引类型

  在创建索引时，可以规定索引能否包含重复值。如果不包含，则索引应该创建为PRIMARY KEY或UNIQUE索引。对于单列唯一性索引，这保证单列不包含重复的值。对于多列唯一性索引，保证多个值的组合不重复。
PRIMARY KEY索引和UNIQUE索引非常类似。事实上，PRIMARY KEY索引仅是一个具有名称PRIMARY的UNIQUE索引。这表示一个表只能包含一个PRIMARY KEY，因为一个表中不可能具有两个同名的索引。

2.6.2.4 删除索引

  可利用ALTER TABLE或DROP INDEX语句来删除索引。类似于CREATE INDEX语句，DROP INDEX可以在ALTER TABLE内部作为一条语句处理，语法如下。

DROP INDEX index_name ON talbe_name;
ALTER TABLE table_name DROP INDEX index_name;
ALTER TABLE table_name DROP PRIMARY KEY; 

  其中，前两条语句是等价的，删除掉table_name中的索引index_name。第3条语句只在删除PRIMARY KEY索引时使用，因为一个表只可能有一个PRIMARY KEY索引，因此不需要指定索引名。如果没有创建PRIMARY KEY索引，但表具有一个或多个UNIQUE索引，则MySQL将删除第一个UNIQUE索引。
  如果从表中删除了某列，则索引会受到影响。对于多列组合的索引，如果删除其中的某列，则该列也会从索引中删除。如果删除组成索引的所有列，则整个索引将被删除。

2.6.2.5 查看索引

show index from table_name;

2.6.2.6 那些字段需要使用索引

1. 表的主关键字
2. 自动建立唯一索引
3. 表的字段唯一约束
4. 直接条件查询的字段（在SQL中用于条件约束的字段）
5. 查询中与其它表关联的字段
6. 查询中排序的字段（排序的字段如果通过索引去访问那将大大提高排序速度）
7. 查询中统计或分组统计的字段
8. 表记录太少（如果一个表只有5条记录，采用索引去访问记录的话，那首先需访问索引表，再通过索引表访问数据表，一般索引表与数据表不在同一个数据块）
9. 经常插入、删除、修改的表（对一些经常处理的业务表应在查询允许的情况下尽量减少索引）
10. 数据重复且分布平均的表字段（假如一个表有10万行记录，有一个字段A只有T和F两种值，且每个值的分布概率大约为50%，那么对这种表A字段建索引一般不会提高数据库的查询速度。）
11. 经常和主字段一块查询但主字段索引值比较多的表字段
12. 对千万级MySQL数据库建立索引是提高性能的手段

2.6.3 如何选择合适的列建立索引

1. 在where从句，group by从句，order by从句，on从句中虚线的列添加索引。
2. 索引字段越小越好（因为数据库数据存储单位是以“页”为单位的，数据存储的越多，IO也会越大）。
   3。离散度大的列放到联合索引的前面。

2.6.3.1 示例

select * from payment where staff_id =2 and customer_id =584;
# 是index（staff_id，customer_id）好，还是index（customer_id，staff_id）好?
# 分别查看这两个字段中不同的id的数量，数量越多，则表明离散程度越大：因此可以通过下图看出：customer_id 离散程度大。

  结论：由于customer_id离散程度大，使用index（customer_id，staff_id)好。

2.6.4 MySQL联合索引

  两个或更多个列上的索引被称作联合索引，又被称为是复合索引。
  利用索引中的附加列，您可以缩小搜索的范围，但使用一个具有两列的索引不同于使用两个单独的索引。复合索引的结构与电话簿类似，人名由姓和名构成，电话簿首先按姓氏对进行排序，然后按名字对有相同姓氏的人进行排序。如果您知 道姓，电话簿将非常有用；如果您知道姓和名，电话簿则更为有用，但如果您只知道名不姓，电话簿将没有用处。
  所以说创建复合索引时，应该仔细考虑列的顺序。对索引中的所有列执行搜索或仅对前几列执行搜索时，复合索引非常有用。仅对后面的任意列执行搜索时，复合索引则没有用处。

2.6.4.1 MySQL联合索引遵循的原则

1. 命名规则 ：表名_字段名
2. 数据量少的字段不需要加索引
3. 如果where条件中是OR关系，加索引不起作用
4. 符合最左原则

2.6.5 索引优化SQL的方法

2.6.5.1 索引的维护及优化（重复及冗余索引）

  增加索引会有利于查询效率，但会降低insert，update，delete的效率，但实际上往往不是这样的，过多的索引会不但会影响使用效率，同时会影响查询效率，这是由于数据库进行查询分析时，首先要选择使用哪一个索引进行查询，如果索引过多，分析过程就会越慢，这样同样的减少查询的效率，因此我们要知道如何增加，有时候要知道维护和删除不需要的索引。

2.6.5.2 如何找到重复和冗余的索引

重复索引：重复索引是指相同的列以相同的顺序建立的同类型的索引。
冗余索引：冗余索引是指多个索引的前缀列相同，或是在联合索引中包含了主键的索引。
说明：对于InnoDB来说，每一个索引后面，实际上都会包含主键，这时候我们建立的联合索引，又人为的把主键包含进去，那么这个时候就是一个冗余索引。

2.6.5.3 索引维护的方法

  由于业务变更，某些索引是后续不需要使用的，就要进行删除。在MySQL中，目前只能通过慢查询日志配合pt-index-usage工具来进行索引使用情况的分析。具体方式查看

2.6.6 注意事项

  设计好MySql的索引可以让你的数据库飞起来，大大的提高数据库效率。设计MySql索引的时候有一下几点注意：

2.6.6.1 创建索引

  对于查询占主要的应用来说，索引显得尤为重要。很多时候性能问题很简单的就是因为我们忘了添加索引而造成的，或者说没有添加更为有效的索引导致。如果不加索引的话，那么查找任何哪怕只是一条特定的数据都会进行一次全表扫描，如果一张表的数据量很大而符合条件的结果又很少，那么不加索引会引起致命的性能下降。
  但是也不是什么情况都非得建索引不可，比如性别可能就只有两个值，建索引不仅没什么优势，还会影响到更新速度，这被称为过度索引。

2.6.6.2 复合索引

select * from users where area='beijing' and age=22; 

  如上面的SQL，如果我们是在area和age上分别创建单个索引的话，由于mysql查询每次只能使用一个索引，所以虽然这样已经相对不做索引时全表扫描提高了很多效率，但是如果在area、age两列上创建复合索引的话将带来更高的效率。如果我们创建了(area,age,salary)的复合索引，那么其实相当于创建了(area,age,salary)、(area,age)、(area)三个索引，这被称为最佳左前缀特性。因此我们在创建复合索引时应该将最常用作限制条件的列放在最左边，依次递减。

2.6.6.3 索引不会包含有NULL值的列

  只要列中包含有NULL值都将不会被包含在索引中，复合索引中只要有一列含有NULL值，那么这一列对于此复合索引就是无效的。所以我们在数据库设计时不要让字段的默认值为NULL。

2.6.6.4 使用短索引

  对字符串列进行索引，如果可能应该指定一个前缀长度。例如，如果有一个CHAR(255)的 列，如果在前10个或20个字符内，多数值是惟一的，那么就不要对整个列进行索引。短索引不仅可以提高查询速度而且可以节省磁盘空间和I/O操作。

2.6.6.5 排序的索引问题

  MySQL查询只使用一个索引，因此如果where子句中已经使用了索引的话，那么order by中的列是不会使用索引的。因此数据库默认排序可以符合要求的情况下不要使用排序操作；尽量不要包含多个列的排序，如果需要最好给这些列创建复合索引。

2.6.6.6 like语句操作

  一般情况下不鼓励使用like操作，如果非使用不可，如何使用也是一个问题。like “%aaa%” 不会使用索引而like “aaa%”可以使用索引。

2.6.5.7，不要在列上进行运算

# 如下的SQL不要使用
select* from users where YEAR(adddate) 

2.6.6.8 不使用NOT IN操作

  NOT IN操作不会使用索引将进行全表扫描。NOT IN可以NOT EXISTS代替。