【MySQL】架构

1. MySQL架构基本理解

与餐厅就餐类比理解

每次数据库查询就像一次餐厅服务
- 应用程序发出查询相当于点菜
- MySQL解析和执行查询，后厨根据订单制作食物
- 事务管理保证数据的一致性，类似于结账的时候保证账单正确
- 查询的时候考虑优化器，类似于厨师选择最快的炒菜方法

对应结构理解

各个层级作用简单理解

连接层

管理客户端的连接请求。负责身份验证、线程复用、连接限制、以及一些缓存管理。通过连接池，MySQL 可以高效地处理大量并发请求，减少频繁的连接创建和销毁的开销
像餐厅的迎宾员，负责安排客人入座，分配资源

服务层

NoSQL Interface：支持 NoSQL 的 CRUD 操作（主要是简单的增删查改）。
SQL Interface：处理 DML、DDL 语句，包括视图、存储过程和触发器。
Parser：将 SQL 语句解析成数据库可以理解的操作，检查语法和权限。
Optimizer：根据查询语句的结构，选择执行查询的最佳路径。
Caches & Buffers：提供全局缓存，以及针对不同存储引擎的缓存机制。
NoSQL 和 SQL 接口像服务员，将客户端的请求转换为具体的操作。
解析器（Parser）和优化器（Optimizer）决定如何高效执行请求。
缓存和缓冲区就像厨房准备的食材，减少重复操作，提高性能。

存储引擎层

InnoDB：支持事务、行级锁和外键约束，是 MySQL 默认存储引擎。
MyISAM：轻量级引擎，不支持事务，适用于读多写少的场景。
MEMORY：将数据存储在内存中，速度快但数据不持久。

文件系统层

负责将数据以及日志文件存储在操作系统的文件系统上
日志文件（如 redo、undo、错误日志等）
数据库数据文件、二进制日志和配置文件

缓存与缓冲区8.0以后不再使用

MySQL8.0移除了全局查询缓存，因为其会成为高并发环境下性能瓶颈，同时InnoDB提供了更加高效的缓存机制，现在基本都推荐使用应用层缓存（Redis类似）解决高并发缓存问题，MySQL则负责专注于数据存储和查询优化

2. 连接层

2.1 网络端口和连接管理线程

网络端口

MySQL本质上是网络服务，IP地址和端口号可以找到特定的进程，该进程上运行的就是MySQL服务

配置网络端口（通过配置文件生效也可以自己手动配置）

[mysqld]
port=3306
bind-address=0.0.0.0
//bind-address参数设置MySQL监听的IP地址，0.0.0.0表示允许所有IP访问
//限制特定IP访问时则可指定具体IP

连接管理线程

类似于主从Reactor模式中的主Reactor专门管理连接

MySQL连接管理类似于主从Reactor模式，主Reactor负责接收客户端的连接请求，然后分发给专门的连接线程处理。这样可以分担连接压力，提高响应效率

多线程的管理

通过MySQL的多线程架构，主线程将连接分配给多个工作线程，提升并发处理能力。例如在InnoDB存储引擎中，后台线程池管理大量连接和事务

2.2 客户端连接线程管理

主从Reactor模式中，子Reactor在线程池中专门负责处理新连接任务，线程池实现了线程的复用，从而减少性能开销，提高其整体性能。

在主从Reactor架构下，子Reactor线程池专门用于处理新的连接任务。线程池的复用和独立处理可减少主线程的性能开销，并在高并发场景下保持高效

2.3 连接量管理

最大连接数设置

注意不要超过服务器的内存和CPU的承载能力，避免系统崩溃

SET GLOBAL max_connections = 200;

连接超时管理

对于不活跃的连接，设置较短的超时时间，从而确保及时释放资源

SET GLOBAL wait_timeout = 28800;
SET GLOBAL interactive_timeout = 28800;

连接缓存

thread_cache_size控制连线程的缓存数量，较大的缓存可以减少线程频繁的创建和销毁

SSL/TLS加密管理

服务端，开启并配置

//服务端 生成证书配置MySQL
[mysqld]
require_secure_transport=ON
ssl-ca=/path/to/ca.pem
ssl-cert=/path/to/server-cert.pem
ssl-key=/path/to/server-key.pem

//客户端配置
mysql --ssl-ca=/path/to/ca.pem -h host -u user -p

3. 服务层

3.1 服务管理与公共组件

Backup & Recovery（备份与恢复）：
- 提供数据备份和恢复功能，用于在发生数据丢失或损坏时恢复数据，保障数据的持久性和完整性。
- 通常包括逻辑备份（如mysqldump工具）和物理备份（如MySQL Enterprise Backup工具）
Security（安全）：
- 涉及MySQL的安全性管理，包括用户权限、身份验证、数据加密等方面
- 通过用户管理、权限控制和SSL/TLS加密来保证数据库的安全访问
Replication（主从复制）：
- 支持主从复制（Master-Slave Replication）功能，将数据从一个主数据库同步到一个或多个从数据库，实现数据冗余和负载均衡
- 适用于数据同步、读写分离和灾备等场景
Cluster（集群）：
- MySQL Cluster是一种高可用、分布式的数据库解决方案，支持无共享架构，适合需要高性能和高可用性的场景
- 在多节点之间分布数据和负载，提供容错能力
Partitioning（表分区）：
- 支持表分区功能，将一张大表按某种分区规则（如范围、列表、哈希等）划分为多个分区，提升查询和管理的效率
- 有助于管理大型数据集，优化查询性能
Instance Manager（实例管理）：
- 管理MySQL实例的启动、停止、配置等操作，支持多实例运行，便于资源隔离和管理
- 通过命令行或图形化界面来控制和监控数据库实例
Administrator（管理员工具）：
- 提供MySQL的管理功能，包括用户管理、权限分配、配置修改、性能监控等
- 可以通过MySQL Workbench等图形化工具或命令行工具实现，简化数据库管理流程
Migration Toolkit（迁移工具）：
- 用于将其他数据库系统（如Oracle、SQL Server）中的数据迁移到MySQL，支持数据和架构的迁移
- 便于在不同数据库系统之间进行数据转换和整合

3.2 NoSQL接口与SQL接口

该接口的目的就是简化客户端和数据库的交互过程，从而确保SQL语句的高效执行和结果传递

接收客户端请求
- 接收客户端发送过来的SQL语句以及命令请求，该接口可以识别不同的请求
SQL转发与执行
- 接收到SQL语句后，接口将其转发至MySQL的查询处理器或存储引擎等其他模块进行处理。
- 根据请求类型，可能会交由不同的引擎（如InnoDB、MyISAM等）来执行
结果返回
- 执行完SQL语句后，接口将处理结果（如查询结果或操作状态）返回给客户端。
- 这一过程确保客户端能够获得SQL命令执行的反馈，完成与数据库的交互

3.3 Parser-语法分析器

主要作用就是将客户端发送的SQL语句进行解析和转换

词法分析
- 解析器首先对SQL语句中的关键词（例如select）进行词法分析，将这些关键词与自定义字段提取出来
- 词法分析将SQL语句分解成一个个基本单元，便于后续的语法分析
语法分析
- 在词法分析后，解析器会检查SQL语句的语法结构，判断其是否符合SQL标准语法
- 如果语法正确，解析器会将SQL语句转换为解析树（Parse Tree），为执行引擎提供结构化的信息。如果语法不正确，则会返回错误
生成解析树
- 解析树是SQL语句的结构化表示，包含语句的操作类型（如SELECT）以及操作对象（如表和字段）
- 解析树为后续的查询优化和执行提供了基础