mysql索引与优化问题

作为一个java程序员,mysql数据库面试应该是比较多的了;而关于数据库的面试,最多的就是性能问题,而以性能为起点,延伸出很多具体的问题。

我们使用第一性原理的方法来分析,为什么面试中一定会问数据库的索引问题。

数据的管理主要涉及到几个问题,数据的存储,使用以及安全等问题;那么为什么要使用数据库呢,文本文件通用可以实现数据等管理功能。

原因就是使用数据库管理数据,更加高效,简单,方便。

而随着现在互联网时代的发展,每天都会产生大量的数据,各大企业内部都存储了大量的用户,产品等相关的数据;

而怎么处理这些数据,怎么快速处理这些数据就成为了一个问题;所以,数据库技术就是其中比较重要的一个方面,而数据库的优化等问题,也理所当然的成为一个重要的问题。

数据库等性能优化主要涉及到以下几个方面:

1. sql语句的优化,主要是sql语句能命中索引,也就是索引的优化

2. 数据表结构的设计

3. 读写分离

3. 分库分表

从成本与效率来说,sql语句的优化 > 数据表结构的优化 > 读写分离 > 分库分表

从市场的实际情况来说,市面上大部分公司都是小型企业,并没有大型企业那种几十亿,甚至几百亿,千亿级别的数据量;所以对这些公司来说,主要使用的还是前两种方式,也就是数据表的设计,以及sql语句方面的优化;

1. sql语句优化

        sql语句的问题,本质上是索引的问题。

那索引到底是什么,为什么会有索引,索引解决了什么问题?

首先,索引的本质是一种数据结构,以常用的mysql为例,现在的mysql索引使用的是b+树,其本质是一种平衡二叉树,关于b+树的问题可以找一些数据结构的文章看一下。

至于为什么会有索引,以及索引解决了什么问题;

mysql数据库是一种关系型数据库,其数据库是由一张张数据表构成的;而数据表中会有一个一个的字段,也就是数据列;而每一行数据就是一条数据记录。

我们设想一下,如果没有索引会出现什么情况?

如下表所示,这就是一个典型的关系型数据库结构,里面存储了用户信息,包括编号,姓名和年龄。

编号姓名年龄
001张三30

而我们使用数据最常用的一个操作就是查询,比如查询张三的信息;而我们常规的查询方式是遍历,也就是查询这张表中所有的数据,然后进行匹配,匹配姓名叫张三的人。

而如果这个数据表中的数据很多怎么办,假如有几百万,几千万,甚至上亿的数据量;那么匹配起来要多长时间,而这在实际应用中是不被允许的;

所以,就有了索引的出现;所谓的索引就类似于字典和书籍的目录,我们可以根据目录更加快速的找到我们需要的内容。

而为什么说索引是一种数据结构呢?

就类似于书籍的目录,目录中有书本章节的标题,然后每个章节中还有小的节点,然后还有这些节点所在的页码。

同样,索引同样需要有数据的信息,以及数据所在的位置;比如,主键索引就会保存数据记录的主键id,以及当前数据所在的数据页。而保存这些索引的结构,就是b+树。

就像书本一样,内容是写在一页一页的纸上面;而数据库的数据保存在计算机的磁盘上面,而且也是通过页的方式进行保存的,这就是数据页。

而磁盘上的数据,需要加载到内存中才能使用;所以,如果没有索引的情况下,数据库查询数据时,就要每次加载一页数据到内存中进行匹配,如果没匹配到就继续从磁盘加载一页数据到内存,往复循环。

而我们知道,磁盘的io性能是很慢的, 而数据库性能瓶颈主要也在io上;所以,我们就要尽量减少数据库查询时io的次数。

而索引就解决了这个问题;就像我们看书一样,我们翻看书籍的目录,这样就可以直接找到内容所在的页数,直接翻到那一页,这样就不用频繁的io,提升了数据的查询效率。

为什么选择b+树作为索引的结构,那是因为b+树比较矮,比较胖,也就是说其节点层级比较少,这样最多三到四次的io就可以查到结果。具体的内容可以看一下为什么使用b+树作为索引的存储结构的文章。

而根据不同的索引类型,查询效率又不尽相同;比如,根据主键索引就可以快速定位的数据所在的位置;而普通索引,也叫二级索引可能会导致出现 回表 查询;

什么是 回表 查询?

回表查询就是,比如你使用姓名作为二级索引,这时b+树的非叶子结点上就保存的是用户的id和姓名;并不能直接查询到用户的信息。其具体流程是,根据姓名张三查找索引,在索引中查找到了一个或多个名字叫张三的人的信息,然后从这个信息中获取到了张三这个人的id,然后需要根据这个id 再次查询才能获取到用户的全部信息,比如性别,年龄,家庭住址等;

这个需要根据id再次查询用户信息的方式,就叫做回表,也就是要查询两次,第一次查询索引,第二次查询表数据。

也就是说二级索引并不能直接查询全部信息,需要通过id这个中间人,才能获取到用户的真实信息。而如果根据姓名查询到名叫张三的人有多个,这个可能需要多次回表查询才能得到真实的结果。

正常情况下,数据库会把我们写入的数据安装主键id进行排序,如果没有主键,那么就会把具有唯一索引的字段作为排序字段,如果这个字段也没有,那么mysql会自动给增加一个主键。

所以,如果使用主键排序的情况下,数据库会默认把我们写入的数据安装顺序排列在磁盘上,而且是连续的;这样根据局部数据原理,就能更快到找到所需要的数据;而如果我们使用uuid等随机数据作为主键,那么数据的存储就会东一个,西一个,导致数据读取的时候,出现随机读取,而在磁盘上,磁头就需要不断的“摇头”,也就是不断的去找磁盘上数据所在的位置。导致效率低下。

在mysql的索引实现中,数据库会把数据进行组队,比如1到5是一队,6到10是一队,这样在索引中就可以把每队最大值和最小值保存下来,这样查询的时候就可以使用二分法,判断当前数据是在那一队,这样更加快速的查询数据。而这些每队的节点就叫做——槽。

根据不同的实现方式,索引又分为主键索引,普通索引,联合索引,聚集索引,非聚集索引等。

而怎么分析sql语句是否命中索引,explain计划关键字,就可以查看当前sql语句的执行过程,以及是否命中索引,命中了那个索引。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/540958.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

俄罗斯人遇到智障都怎么表达,柯桥成人俄语学习日常口语教学

你知道俄罗斯人 口吐芬芳 表达友好时怎样称呼他人吗&#xff1f; “兔崽子”“蠢货”“白痴”......你知道这些词用俄语都怎样说吗&#xff1f; 事先声明&#xff1a;本期不正经科普仅供娱乐&#xff0c;实操之后挨打了不要怪小编哦~ 1、тетеря 笨蛋 <转, 俗, 谑&g…

dfs板子

递归实现排列 留着明早省赛之前看 #include<iostream> using namespace std; int arr[10010]; int brr[10010]; int n,k; void dfs(int num){if(num > n){for(int i 1;i < n;i){cout << arr[i] << " ";}cout << endl;return;}for(in…

210. 课程表 II

题目重现: 方法一: 根据拓扑排序的人工模拟推导的算法 基本思想就是统计每个节点的入度 入度为0进入队列 在循环中每次 从队列中移出一个元素 并把它指向的元素入度减一 同样的入度为0进入队列 当队列为空 或者 次数达到numCourse 退出循环 class Solution { public:v…

为数据穿上安全的外衣——零售电商场景下的数据安全体系建设

在电子商务交易过程中&#xff0c;会涉及大量的个人和财务数据的传输和处理&#xff0c;随着电子商务的发展&#xff0c;数据安全风险也成为一个备受关注的问题。 而跨境电商&#xff0c;属于出海业务&#xff0c;涉及到海外不同国家的政策法规&#xff0c;且数据作为电商的业…

【Tars-go】腾讯微服务框架学习使用03-- TarsUp协议

3 TarsUP协议 统一通信协议 TarsTup | TarsDocs (tarscloud.github.io) TarsDocs/base at master TarsCloud/TarsDocs (github.com) &#xff1a; 有关于tars的所有介绍 每一个rpc调用双方都约定一套数据序列化协议&#xff0c;gprc用的是protobuff&#xff0c;tarsgo是统一…

免费升级至HTTPS协议教程

一、前言 HTTPS协议以其安全性和数据加密特性&#xff0c;逐渐取代HTTP成为互联网通信的主流协议。本文将为您简洁明了地介绍如何免费升级至HTTPS协议。 二、获取免费SSL证书 选择证书提供商&#xff1a;如JoySSL等提供免费SSL证书的服务。 免费申请地址https://www.joyssl.…

Elastic 线下 Meetup 将于 2024 年 4 月 27 号在重庆举办

2024 Elastic Meetup 重庆站活动&#xff0c;由 Elastic、新智锦绣联合举办&#xff0c;现诚邀广大技术爱好者及开发者参加。 活动时间 2024年4月27日 13:30-18:00 活动地点 中国重庆 沙坪坝区学城大道62-1号研发楼一期b3栋1楼(瑞幸咖啡旁&#xff09; 活动流程 14:00-14:50…

Ubuntu 22.04安装新硬盘并启动时自动挂载

方法一 要在Ubuntu 22.04系统中安装一个新硬盘、对其进行格式化并实现启动时自动挂载&#xff0c;需要按以下步骤操作&#xff1a; 1. 安装硬盘 - 确保你的硬盘正确连接到计算机上&#xff08;涉及硬件安装&#xff09;。 2. 发现新硬盘 - 在系统启动后&#xff0c;打开终端…

【InternLM 实战营第二期-笔记4】XTuner 微调个人小助手认知

书生浦语是上海人工智能实验室和商汤科技联合研发的一款大模型,很高兴能参与本次第二期训练营&#xff0c;我也将会通过笔记博客的方式记录学习的过程与遇到的问题&#xff0c;并为代码添加注释&#xff0c;希望可以帮助到你们。 记得点赞哟(๑ゝω╹๑) XTuner 微调个人小助手…

OSCP靶场--Fail

OSCP靶场–Fail 考点(rsync未授权覆盖公钥Fail2ban提权) 1.nmap扫描 ## ┌──(root㉿kali)-[~/Desktop] └─# nmap -sV -sC 192.168.153.126 -p- -Pn --min-rate 2500 Starting Nmap 7.92 ( https://nmap.org ) at 2024-04-12 23:34 EDT Warning: 192.168.153.126 giving …

体验Humane AI:我与可穿戴AI别针的生活

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…

react使用npm i @reduxjs/toolkit react-redux

npm i reduxjs/toolkit react-redux 创建一个 store文件夹&#xff0c;里面创建index.js文件和子模块文件夹 index,js文件写入以下代码 import {configureStore} from reduxjs/toolkit // 导入子模块 import counterReducer from ./modules/one import two from ./modules/tw…

数字货币:未来金融的崭新篇章

一、数字货币是什么&#xff1f; 数字货币是一种基于区块链技术的货币&#xff0c;它通过去中心化的方式发行和交易&#xff0c;无需传统的金融机构参与。数字货币的交易过程公开透明&#xff0c;可以确保交易的真实性和不可篡改性。比特币、以太坊、瑞波币等是目前比较知名的…

vscode ssh远程服务器并通过代码程序以及terminal启动GUI

写在前面 之前在做带有GUI界面的程序一般都在MobaXterm类似得应用程序中实现&#xff0c;因为自带X Server,但是现在在代码中遇到Bug&#xff0c;需要在vscode中断点调试&#xff0c;但vscode不自带X server,导致没有到问题出就被卡在GUI这一步&#xff0c;这就带来了问题&…

SAP SD学习笔记05 - SD中的一括处理(集中处理),出荷和请求的冻结(替代实现承认功能)

上一章讲了SD的重要概念&#xff0c;比如出荷Plant&#xff08;交货工厂&#xff09;&#xff0c;出荷Point&#xff08;装运点&#xff09;&#xff0c;输送计划&#xff0c;品目的可用性检查&#xff0c;一括纳入/分割纳入&#xff0c;仓库管理等。 SAP SD学习笔记04 - 出荷…

记一次centos合并excel,word,png,pdf为一个整体pdf的入坑爬坑过程(一直显示宋体问题)。

一、背景 原先已经简单实现了excel,word,png,pdf合成一个整体pdf的过程。并将它弄到docker容器中。 1、原先入坑的技术栈 php:7.4 (业务有涉及)php第三方包 setasign\Fpdi\Fpdi : 2.3.6 &#xff08;pdf合并&#xff09;libreoffice : 5.3.6.1ImageMagick: 6.9.10-68 2、…

使用腾讯云服务器如何搭建网站?新手建站教程

使用腾讯云服务器搭建网站全流程&#xff0c;包括轻量应用服务器和云服务器CVM建站教程&#xff0c;轻量可以使用应用镜像一键建站&#xff0c;云服务器CVM可以通过安装宝塔面板的方式来搭建网站&#xff0c;腾讯云服务器网txyfwq.com整理使用腾讯云服务器建站教程&#xff0c;…

蓝桥杯(填空题)

十四届 B组 日期统计&#xff08;暴力枚举&#xff09; 数据 5 6 8 6 9 1 6 1 2 4 9 1 9 8 2 3 6 4 7 7 5 9 5 0 3 8 7 5 8 1 5 8 6 1 8 3 0 3 7 9 2 7 0 5 8 8 5 7 0 9 9 1 9 4 4 6 8 6 3 3 8 5 1 6 3 4 6 7 0 7 8 2 7 6 8 9 5 6 5 6 1 4 0 1 0 0 9 4 8 0 9 1 2 8 5 0 2 5 3…

【日常记录】【JS】js 实现元素平滑上升

文章目录 1、效果图2、基本骨架3、实现4、完整代码 1、效果图 2、基本骨架 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0&…

VLC-Qt实现简单的视频播放器

VLC-Qt是一个结合了Qt应用程序和libVLC的免费开源库。它提供了用于媒体播放的核心类&#xff0c;以及用于快速开发媒体播放器的GUI类。由于集成了整个libVLC&#xff0c;VLC-Qt具备了libVLC的所有特性&#xff0c; 例如&#xff1a;libVLC实例和播放器、单个文件和列表播放、音…