目录标题
- 如何收集慢SQL-- ELK体系收集慢日志
- 分析SQL
- 优化
- 添加索引优化慢sql
- 通过拆分冷热数据优化
- 读写分离
- 预防
我们优化的思路是“收集——分析——优化——预防”了解完如何收集慢日志之后,就要开始分析 SQL 了。优化 SQL 的基础手段是 EXPLAIN,我们要收起来在此基础上,针对 SQL 语句定点优化消除。
如何收集慢SQL-- ELK体系收集慢日志
MySQL 服务器安装 Filebeat 收集 slowLog
Filebeat 读取 MySQL 慢日志文件做简单过滤传给 Kafka 集群
Logstash 读取 Kafka 集群数据并按字段拆分后转成 JSON 格式存入 ES 集群
Kibana 读取ES集群数据展示到web页面上
分析SQL
优化sql的基本手段是exlpain
优化
添加索引优化慢sql
场景:单表查询sql
避免索引列使用函数
避免类型隐式转换
order by 需要使用索引,否则会发生file sort
联合索引注意索引顺序
场景:多表联合sql
多表联查的sql一定要在连接字段上加索引
多表关联字段字符集不同,索引失效
小表驱动大表(注意驱动表)
尽量不要嵌套太多的join,联表的数量越多,性能消耗就越大,业务复杂度也会更高
添加索引注意:
建议使用pt-osc,gh-ost等工具创建索引,这样执行DDL不会阻塞表
业务低峰进行,避免影响业务
通过拆分冷热数据优化
可以通过定时任务,执行数据归档
读写分离
预防
过滤慢日志,发送邮件。
建立追踪机制(sql是否可以优化,优化截止时间等)
https://www.zhihu.com/question/23432565/answer/2461119824