【PostgreSQL】AUTO_EXPLAIN - 慢速查询的日志执行计划

本文为云贝教育 刘峰 原创,请尊重知识产权,转发请注明出处,不接受任何抄袭、演绎和未经注明出处的转载。

一、介绍

在本文中,我们将了解 PostgreSQL AUTO_EXPLAIN功能的工作原理,以及为什么应该使用它来收集在生产系统上执行的 SQL 语句的实际执行计划。

二、SQL执行计划

当您向 PostgreSQL 发送 SQL 语句时,该语句的执行方式如下图所示:

首先,基于文本的 SQL 语句被解析为可由数据库服务器以编程方式遍历的抽象语法树(例如查询树)。

其次,优化器使用查询树生成最佳执行计划,该执行计划消耗最少的资源来生成所需的结果。

第三,执行器运行执行计划,并将输出作为查询结果集返回给客户端。

三、估计执行计划和真实的执行计划

当您使用 EXPLAIN 命令时。 PostgreSQL 仅返回估计执行计划,即优化器认为对于所提供的 SQL 语句最有效的计划。但是,当您运行 EXPLAIN 命令时,该语句并未真正执行。

另一方面,如果我们运行 EXPLAIN ANALYZE,PostgreSQL 会运行该语句,因此我们将得到实际执行计划,其中还包含执行计划中每个操作的计时信息。

在研究生产系统上的慢速查询时,我们可能会面临几个挑战。

• 首先,出于安全原因,我们可能不允许在生产系统上运行查询,因此,在这种情况下,我们不能简单地运行 EXPLAIN ANALYZE 命令来获取实际执行计划。

• 其次,即使我们有权运行 EXPLAIN ANALYZE 命令,我们也可能会观察到与客户抱怨的计划不同的计划。这可能是由于几个原因造成的。

例如,PostgreSQL 有一个prepareThreshold 设置,其默认值为5。该值告诉PostgreSQL 在切换到使用通用计划的服务器端Prepared Statement 之前,它可以在客户端模拟Prepared Statement 多少次。

如果慢速查询使用通用计划,即使运行 EXPLAIN ANALYZE(它会动态生成执行计划),您也可能无法获得相同的计划。

因此,分析慢速查询的一个更好的解决方案是,我们获取 PostgreSQL 在运行相关查询时使用的实际执行计划。

四、Auto Explain 模块

PostgreSQL 是非常可定制的,它提供了几个我们可以显式激活的扩展。

auto_explain 就是这样的一个扩展,它允许我们捕获花费时间超过预定义阈值的 SQL 查询的实际执行计划。

auto_explain模块提供了一种自动记录执行计划的方法,而无需手动运行。这对于在大型应用程序中追踪未优化的查询特别有用。

该模块不提供SQL可访问的功能。要使用它,只需将其加载到服务器中。您可以将其加载到单个会话中:

您必须是超级用户才能执行此操作。更典型的用法是通过在 postgresql.conf 中的 session_preload_libraries 中包含 auto_explain 或 shared_preload_libraries 来将其预加载到部分或所有会话中。然后,无论查询何时发生,您都可以跟踪异常缓慢的查询。当然,这需要付出一定的管理费用。

4.1 安装

支持 PostgreSQL 版本 12 及更高版本。

在继续之前安装 PostgreSQL。确保有 pg_config 二进制文件,它们通常包含在 -dev 和 -devel 包中。

如果下载失败,可直接下载ZIP包上传解压安装

4.2 配置参数

有几个配置参数控制 auto_explain 的行为。请注意,默认行为是不执行任何操作,因此如果您想要任何结果,则必须至少设置 auto_explain.log_min_duration。

auto_explain.log_min_duration(整数)

auto_explain.log_min_duration 是将导致记录该语句的计划的最短语句执行时间(以毫秒为单位)。将其设置为 0 会记录所有计划。 -1(默认值)禁用计划记录。例如,如果将其设置为 250 毫秒,则将记录运行 250 毫秒或更长的所有语句。只有超级用户才能更改此设置。

auto_explain.log_parameter_max_length(整数)

auto_explain.log_parameter_max_length 控制查询参数值的记录。值为 -1(默认值)会完整记录参数值。 0 禁用参数值记录。大于零的值会将每个参数值截断为那么多字节。只有超级用户才能更改此设置。

auto_explain.log_analyze(布尔值)

auto_explain.log_analyze 会导致在记录执行计划时打印 EXPLAIN ANALYZE 输出,而不仅仅是 EXPLAIN 输出。该参数默认关闭。只有超级用户才能更改此设置。

注意:当此参数打开时,所有执行的语句都会按计划节点计时,无论它们运行的时间是否足够长以实际记录日志。这可能会对性能产生极其负面的影响。关闭 auto_explain.log_timing 可改善性能成本,但代价是获取的信息较少。

auto_explain.log_buffers(布尔值)

auto_explain.log_buffers 控制在记录执行计划时是否打印缓冲区使用统计信息;它相当于 EXPLAIN 的 BUFFERS 选项。除非启用 auto_explain.log_analyze,否则此参数无效。该参数默认关闭。只有超级用户才能更改此设置。

auto_explain.log_wal(布尔值)

auto_explain.log_wal 控制在记录执行计划时是否打印 WAL 使用统计信息;它相当于 EXPLAIN 的 WAL 选项。除非启用 auto_explain.log_analyze,否则此参数无效。该参数默认关闭。只有超级用户才能更改此设置。

auto_explain.log_timing(布尔值)

auto_explain.log_timing 控制在记录执行计划时是否打印每个节点的计时信息;它相当于 EXPLAIN 的 TIMING 选项。重复读取系统时钟的开销可能会显着减慢某些系统上的查询速度,因此当仅需要实际行计数而不是精确时间时,将此参数设置为关闭可能很有用。除非启用 auto_explain.log_analyze,否则此参数无效。该参数默认开启。只有超级用户才能更改此设置。

auto_explain.log_triggers(布尔值)

auto_explain.log_triggers 导致在记录执行计划时包含触发器执行统计信息。除非启用 auto_explain.log_analyze,否则此参数无效。该参数默认关闭。只有超级用户才能更改此设置。

auto_explain.log_verbose(布尔值)

auto_explain.log_verbose 控制在记录执行计划时是否打印详细信息;它相当于 EXPLAIN 的 VERBOSE 选项。该参数默认关闭。只有超级用户才能更改此设置。

auto_explain.log_settings(布尔值)

auto_explain.log_settings 控制在记录执行计划时是否打印有关修改的配置选项的信息。输出中仅包含影响查询计划且其值与内置默认值不同的选项。该参数默认关闭。只有超级用户才能更改此设置。

auto_explain.log_format(枚举)

auto_explain.log_format 选择要使用的 EXPLAIN 输出格式。允许的值为 text、xml、json 和 yaml。默认为文本。只有超级用户才能更改此设置。

auto_explain.log_level(枚举)

auto_explain.log_level 选择 auto_explain 将记录查询计划的日志级别。有效值为 DEBUG5、DEBUG4、DEBUG3、DEBUG2、DEBUG1、INFO、NOTICE、WARNING 和 LOG。默认为日志。只有超级用户才能更改此设置。

auto_explain.log_nested_statements(布尔值)

auto_explain.log_nested_statements 导致考虑记录嵌套语句(在函数内执行的语句)。当它关闭时,仅记录顶级查询计划。该参数默认关闭。只有超级用户才能更改此设置。

auto_explain.sample_rate(实数)

auto_explain.sample_rate 导致 auto_explain 仅解释每个会话中的一小部分语句。默认值为 1,表示解释所有查询。如果是嵌套语句,则要么全部解释,要么不解释。只有超级用户才能更改此设置。

在日常使用中,这些参数是在 postgresql.conf 中设置的,尽管超级用户可以在自己的会话中即时更改它们。典型用法可能是:

4.3 示例

1)创建扩展

2)窗口1执行以下查询

3)窗口2查看当前正在执行的SQL

可以看到PID=43144的进程,正在执行SQL:select pg_sleep(3),relname from pg_class;

执行计划为全表扫描,并且该真实的执行计划不需要通过explain analyze获取。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/737704.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

高考十字路口:24年考生如何权衡专业与学校的抉择?

文章目录 每日一句正能量前言专业解析理工科专业商科专业人文社科专业艺术与设计专业个人经验与思考过程结论 名校效应分析名校声誉与品牌效应资源获取学术氛围就业优势个人发展结论 好专业和好学校的权衡个人职业目标行业需求教育质量资源和机会学术氛围就业优势经济和地理位置…

SVM算法-人脸识别背后技术详解

引言 支持向量机(SVM)是一种强大的监督学习算法,广泛应用于分类和回归任务中。本文将详细介绍SVM算法在人脸识别任务中的应用,并通过代码示例来展示其背后的技术精髓。我们将分三大部分来展开,本部分将重点介绍SVM算法…

SpringBoot2+Vue3开发博客管理系统

项目介绍 博客管理系统,可以帮助使用者管理自己的经验文章、学习心得、知识文章、技术文章,以及对文章进行分类,打标签等功能。便于日后的复习和回忆。 架构介绍 博客管理系统采用前后端分离模式进行开发。前端主要使用技术:Vu…

网管工作实践_02_IP/MAC地址管理工具

1、ipconfig命令格式及参数 ipconfig是内置于Windows的TCP/IP应用程序,用于显示本地计算机网络适配器的MAC地址和IP地址等配置信息,这些信息一般用来榆验手动配置的TCP/IP设置是否正确。当在网络中使用 DHCP服务时,IPConfig可以检测计算机中分…

利用定时器1产生全双工软件串口

代码; /*《AVR专题精选》随书例程3.通信接口使用技巧项目:使用AVR定时器1和外中断实现全双工软件串口文件:softuart.c说明:软件串口驱动文件作者:邵子扬时间:2012年12月16日*/ #include "softuart.h"// 内部…

达梦数据守护集群部署

接上篇 达梦8单机规范化部署 https://blog.csdn.net/qq_25045631/article/details/139898690 1. 集群规划 在正式生产环境中,两台机器建议使用统一配置的服务器。使用千兆或千兆以上网络。 两台虚拟机各加一块网卡,仅主机模式,作为心跳网卡…

【日记】原来真的有人不适合谈恋爱(1194 字)

正文 21 日正是周五,夏至。全年当中,白天时长最长的一天。而恰好那天也是银行扣息的日子。所以很忙,我差点没能走掉。 所幸最终还是有惊无险。 到斯的家里,是晚上 9 点钟。比我想得要早。这个周周四,他过生日。但是那天…

提升效率新选择——运营必备API合集

在数字化、自动化的时代背景下,运营小工具API已经成为了众多企业不可或缺的重要组成部分。这些API工具为运营工作提供了极大的便利,不仅简化了工作流程,还提高了工作效率。 运营小工具API是针对运营工作特定需求而设计的接口,通过…

7.系统工具——黑马程序员Java最新AI+若依框架项目

目录 前言一、表单构建任务:设计添加课程表单 二、 代码生成1.任务:将部门表在页面端显示改为树形结构 三、系统接口任务:使用sagger进行接口测试 前言 提示:本篇讲解若依框架 系统工具 一、表单构建 功能:完成前端…

【持续集成_01课_Git版本管理及基本应用】

一、什么是持续集成 测试代码、开发代码、测试报告、发送邮件...组合到一起来 --- 流水线。 (有一个规范的流程) 持续集成(Continuous Integration,简称CI) 是一种软件开发实践,旨在将代码集成到共享仓库…

网页抓取和网页爬取之间有何区别?

随着互联网的发展和信息的爆炸式增长,数据收集和处理已成为企业和个人不可或缺的需求。在此背景下,网页抓取和网络爬虫已成为两种常见的数据收集方法。虽然这两种方法看似相似,但它们的方法和目标存在显著差异。本文将为您详细介绍网页抓取和…

【科技前沿】电子设计新贵SmartEDA:为何它引领行业风潮?

在当今这个电子科技日新月异的时代,电子设计工具如同设计师的魔法棒,不断推动着产品创新的速度。而近期,一款名为SmartEDA的电子国产设计仿真软件异军突起,成为了行业内的新宠。那么,SmartEDA究竟有何过人之处&#xf…

人工和AI大语言模型成本对比 ai语音模型

这里既有AI,又有生活大道理,无数渺小的思考填满了一生。 上一专题搭建了一套GMM-HMM系统,来识别连续0123456789的英文语音。 但若不是仅针对数字,而是所有普通词汇,可能达到十几万个词,解码过程将非常复杂…

# bash: chkconfig: command not found 解决方法

bash: chkconfig: command not found 解决方法 一、chkconfig 错误描述: 这个错误表明在 Bash 环境下,尝试执行 chkconfig 命令,但是系统找不到这个命令。chkconfig 命令是一个用于管理 Linux 系统中服务的启动和停止的工具,通常…

ChatGPT对那些带有残疾迹象的简历有偏见——但它可以改善

ChatGPT对那些带有残疾迹象的简历有偏见——但它可以改善 去年,华盛顿大学(University of Washington)研究生凯特•格拉兹科(Kate Glazko)在寻找研究实习机会时注意到,招聘人员在网上发布消息称,他们使用OpenAI的ChatGPT和其他人工智能工具来…

【b站-湖科大教书匠】3 数据链路层-计算机网络微课堂

课程地址:【计算机网络微课堂(有字幕无背景音乐版)】 https://www.bilibili.com/video/BV1c4411d7jb/?share_sourcecopy_web&vd_sourceb1cb921b73fe3808550eaf2224d1c155 3 数据链路层 3.1 数据链路层概述 3.1.1 数据链路层在网络体系结…

Eureka 服务注册与发现

目录 前言 注册中心 CAP 理论 常⻅的注册中心 CAP理论对比 Eureka 搭建 Eureka Server 引⼊ eureka-server 依赖 完善启动类 编写配置⽂件 启动服务 服务注册 引⼊ eureka-client 依赖 完善配置⽂件 启动服务 服务发现 引⼊依赖 完善配置⽂件 远程调⽤ 启动…

【设计模式深度剖析】【9】【行为型】【访问者模式】| 以博物馆的导览员为例加深理解

👈️上一篇:备忘录模式 | 下一篇:状态模式👉️ 设计模式-专栏👈️ 文章目录 访问者模式定义英文原话直译如何理解呢? 访问者模式的角色类图代码示例 访问者模式的应用优点缺点使用场景 示例解析:博物馆的导览员代码示例 访问…

uni-app与原生插件混合开发调试3-安卓原生插件开发调试和打包

安卓原生插件开发调试和打包 上面已经介绍了怎么安装开发和调试环境&#xff0c;接下来就是安卓原生插件的具体开发和调试步骤&#xff1a; 将uniapp前端项目的index.vue文件新增代码。代码如图所示&#xff1a; <template><view><view><text>{{titl…