SQL问题的常用信息收集命令及解决思路 |OceanBase应用实践

面对SQL问题,大家的常用的分析思路是:

一、问题是否源于SQL本身?是的话需进行SQL调优。

二、SQL语句本身无误,但执行效果并未达到我们的预期效果。

  1. 检查当前的服务器负载状况,例如CPU利用率、内存占用、IO读写等关键指标。
  2. 确认是否存在数据库锁冲突问题
  3. 统计信息是否准确
  4. 考虑其他可能的场景因素

常用的信息收集

一、获取 trace_id 的方式

方法一:如果SQL可以执行成功,执行完第一步的sql后立即执行获取

select last_trace_id();

方法二:如果SQL执行失败,可以通过设置参数,失败后会返回信息(trace_id、执行节点等)

alter system set enable_rich_error_msg=true;   // 需要在sys租户下执行

方法三:直接通过 SQL 过滤 sql_audit

select * from oceanbase.GV$OB_SQL_AUDIT where query_sql like 'xxx%' order by REQUEST_TIME desc limit 5;

二、执行信息收集

1、OCP 平台业务租户监控截图,包括性能和主机监控

2、获取执行计划

explain extended sql

3、执行原始SQL,然后获取trace_id

select last_trace_id(); 获取trace id

4、获取 sql_audit

select * from oceanbase.GV$OB_SQL_AUDIT where TRACE_ID='xxx' order by REQUEST_TIME desc limit 5;

5、获取对应的observer log

通过 sql_audit 信息,到执行的节点下执行

grep 'xxx' observer.log*

6、获取 sql_monitor(local计划默认不会生成sql_monitor)

      1、sql 执行添加monitor hint:

select /*+ monitor */ * from xxx; delete /*+ monitor */ * from xxx;

      2、获取trace id

select last_trace_id();

      3、获取 sql_monitor,这里要替换traceid

select plan_line_id, plan_operation, sum(output_rows), sum(STARTS) rescan, min(first_refresh_time) open_time, max(last_refresh_time) close_time, max(last_refresh_time) - min(first_refresh_time) open_close_cost, min(first_change_time) first_row_time, max(last_change_time) last_row_eof_time, max(last_change_time) - min(first_change_time) rows_cost, count(1) from oceanbase.GV$SQL_PLAN_MONITOR where trace_id = 'xxxx' group by plan_line_id, plan_operation order by plan_line_id;

7、查询表的统计信息

select * from OCEANBASE.DBA_TAB_STATISTICS where table_name='xxx' \G

8、收集 explain trace 日志

set ob_log_level='TRACE';

explain extend 原始sql;

select last_trace_id();

然后用 trace id 捞一下日志

三、收集常见问题

如果日志没有查到记录,可能是因为日志级别设置的太高

show parameters like '%syslog_level%';

set ob_log_level='TRACE';

也有可能日志限流以及刷新过快

alter system set syslog_io_bandwidth_limit='1G';

alter system set max_syslog_file_count=15;

常见的问题解决思路

可以先收集下执行计划,然后再执行转储合并以及收集统计信息后重试,来排除这方面导致慢的可能。

收集统计信息

CALL dbms_stats.gather_table_stats('库名', '表名');

转储合并

转储:

alter system minor freeze;

查询转储信息,如果没有记录说明转储完成

SELECT * FROM oceanbase.GV$OB_TABLET_COMPACTION_PROGRESS WHERE TYPE='MINI_MERGE'\G

合并:

ALTER SYSTEM MAJOR FREEZE;

查询合并状态,可以多查询几次,status 变成 idle 就可以了

SELECT * FROM oceanbase.CDB_OB_MAJOR_COMPACTION\G

sql_audit 判断

sql_audit 如果花费的时间都是 execute_time,就说明没有排队、堵塞等问题,这个时候就要看计划是否合理、sql是否可以优化。

根据 sql_monitor 中慢的部分再分析执行计划

举个🌰:

1714122406

估行不准

比如慢的算子部分 EST.ROWS 跟直接count 差别很大,尤其是用了 NLJ 的场景。

数据倾斜

带有业务特征的字段十有八九都会比较容易倾斜。比如:时间字段高度可疑,特别是这种2099年。

怀疑统计信息不准确可以尝试动态采样

动态采样为了使优化器得到足够多的统计信息,会在计划生成阶段针对数据库对象进行提前采样,通过采样的方式进行行数估计,从而用于代价模型中,生成更好的计划。

语句添加 /*+dynamic_sampling(1)*/ 这个hint执行

采集列的直方图

如果某些列的执行计划感觉有影响,可以确认列的统计信息是否准确

确认列的直方图收集情况,需要确认 HISTOGRAM 字段不为空。

select * from OCEANBASE.DBA_TAB_COL_STATISTICS where TABLE_NAME ='dim_scd_organization'\G

收集所有列的统计信息

call dbms_stats.gather_table_stats('库名', '表名', degree=>4, method_opt=>'for all columns size 256');

收集完成后再确认 OCEANBASE.DBA_TAB_COL_STATISTICS 的 HISTOGRAM 字段。

收集完可以再确认下sql的执行情况以及执行计划。

如果怀疑表关联顺序或者表关联算法有问题,可以通过 Hint 来指定。

如下为碰到的问题:

如果怀疑 NLJ(next-loop join) 慢,可以添加 Hint NO_USE_NL 关闭。

1714122434

比如这个例子,USE_NL (xxx),Hint 换成/*+ NO_USE_NL(@"SEL$D2F629B4" "dm"."dm_outpatient_medical_reduce1"@"SEL$1")*/

来让这个算子不走 NLJ,再查看执行效率以及执行计划

1714122448

如果执行结果不满足预期或者执行计划仍不是最优(比如:仍存在其他的nlj、关联顺序变化等),可以手动指定不合理的地方

/*+LEADING(@"SEL$D2F629B4" (("dw"."dim_scd_organization_province_code"@"SEL$1" "dm"."dm_outpatient_medical_reduce1"@"SEL$1") "dw"."dim_organization_level_level1_org_id"@"SEL$1")) USE_HASH(@"SEL$D2F629B4" "dw"."dim_organization_level_level1_org_id"@"SEL$1") USE_HASH(@"SEL$D2F629B4" "dm"."dm_outpatient_medical_reduce1"@"SEL$1")*/

这个 Hint 让 Leading 跟之前保持一致,dim_organization_level_level1_org_id 的关联算法也跟之前的保持一致,然后指定了 dm_outpatient_medical_reduce1 的关联算法由 USE_NL --> USE_HASH

1714122463

写在最后

SQL问题可能的原因其实有很多,解决SQL问题很多时候还是依靠经验,我这里提供的一些思路也只是冰山一角,建议大家碰到SQL问题可以记录下来,处理得多了以后就会形成自己的一套方法论,也就会越来越得心用手。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/663198.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

图书管理系统——java基础(源码)后续引入数据库,Swing程序设计,支持关注!后续更新……

学了java想要练手,图书管理系统这个项目非常适合你 项目需求大体想法: 能够查看书籍,借阅书籍,打印书籍等功能。输出姓名后能进入为普通用户模式或者管理员模式。 各类包之间协同合作之间关系讲解。 做这个项目的始终是为了对…

新疆 | 金石商砼效率革命背后的逻辑

走进标杆企业,感受名企力量,探寻学习优秀企业领先之道。 本期要跟砼行们推介的标杆企业是新疆砼行业的龙头企业:新疆兵团建工金石商品混凝土有限责任公司(以下简称:新疆金石)。 从年产80万方到120万方&am…

计算机图形学入门03:基本变换

变换(Transformation)可分为模型(Model)变换和视图(Viewing)变换。在3D虚拟场景中相机的移动和旋转,角色人物动画都需要变换,用来描述物体运动。将三维世界投影变换到2D屏幕上成像出来,也需要变换。 1.二维变换 1.1缩放变换 如上图所示&…

自动化测试-ddt数据驱动yaml文件实战(详细)

前言 ddt 驱动 yaml/yml 文件来实现数据驱动测试 ddt.file_data:装饰测试方法,参数是文件名。文件可以是 json 或者 yaml 类型。 注意:如果文件是以 “.yml”或者".yaml" 结尾,ddt 会作为 yaml 类型处理,…

期权与股票在交易上是有什么区别吗?

国内的股票市场,只能做多,T1交易。期权则分为4个方向,买入看涨期权,买入看跌期权,也就是做多和做空T0双向交易,同时每个方向还区分不同的行权价,每个行权价对应的4个方向的期权,都有…

精通推荐算法6:用户行为序列建模 -- 总体架构

1 行为序列建模技术架构 身处目前这个信息爆炸的时代,用户在各推荐场景上有丰富的行为序列。将行为序列特征引入推荐算法中,有利于丰富特征工程体系、获得更立体和更全面的信息,同时可以表达用户兴趣演化过程,并捕获用户实时兴趣…

取代或转型?人工智能对软件测试的影响(内附工具推荐)

在当今快速发展的数字环境中,从移动App到基于Web的平台,软件已成为我们日常生活和工作不可或缺的一部分。然而,随着软件系统变得越来越复杂,如何确保其质量和可靠性已成为开发人员和测试人员所面临的一大重要挑战。 这就是软件测…

python探索时钟模拟之旅:从设计到实现

新书上架~👇全国包邮奥~ python实用小工具开发教程http://pythontoolsteach.com/3 欢迎关注我👆,收藏下次不迷路┗|`O′|┛ 嗷~~ 目录 一、引言 二、设计时钟类 三、代码实现 四、扩展功能:指定步数后自动停止 五…

<Transition> expects exactly one child element or component.

近日在vue中使用 Transition 标签是发生了如下报错: [plugin:vite:vue] expects exactly one child element or component. 原因: 仅支持单个元素或组件作为其插槽内容。如果内容是一个组件,这个组件必须仅有一个根元素。 原始代码&#xff1…

【产品经理】技术知识

引言:        在最近频繁的产品管理职位面试中,我深刻体会到了作为产品经理需要的不仅仅是对市场和技术的敏锐洞察,更多的是在复杂多变的环境中,如何运用沟通、领导力和决策能力来引导产品从概念走向市场。这一系列博客将分享…

应急通信保障之多链路聚合通信设备在应急救援实施中的解决方案

在当今信息化社会,应急通信保障已成为各类救援任务中不可或缺的一环。尤其在复杂多变的应急救援现场,如何确保通信畅通、信息传递及时,直接关系到救援行动的成败。近年来,多链路聚合通信设备以其独特的优势,逐渐在应急…

一款超好用的国产Redis可视化工具

一、简介 1、这是一款追求极致性能(它可以支持前面100万数据的展示。)海量数据下低内存占用、极简布局、高效交互、跨平台、支持反序列化Java字节码的redis可视化客户端工具。 支持三大操作系统Windows、MacOS、Linux,适合不同操作系统口味的…

网络延迟监控

网络中的延迟是指数据通过网络传输到其预期目的地所需的时间,它通常表示为往返延迟,即数据从一个位置传输到另一个位置所需的时间。 网络延迟(也称为滞后)定义为数据包通过多个网络设备进行封装、传输和处理,直到到达…

linux镜像虚拟机创建共享文件夹详细步骤 -- 和本地电脑传输文件

主机与虚拟机之间传递文件,最快捷的方法莫过于共享文件夹。此方法不需要复制文件,而且可以节省硬盘空间。 具体设置步骤如下: 打开自己的电脑,创建共享的文件夹,完成后鼠标右击刚刚创建的共享文件夹,选择…

《C语言深度解剖》(16):C语言的文件读写操作

🤡博客主页:醉竺 🥰本文专栏:《C语言深度解剖》 😻欢迎关注:感谢大家的点赞评论关注,祝您学有所成! ✨✨💜💛想要学习更多C语言深度解剖点击专栏链接查看&…

RTPS协议之Messages Module

目录 Messages ModuleType定义RTPS消息结构RTPS消息头子消息结构 RTPS消息接收者SubmessageElementsRTPS HeaderRTPS Submessages Messages Module RTPS Writer和RTPS Reader之间的交换数据的消息。 Type定义 TypePurposeProtocolId_tSubmessageFlagsub msg flagSubmessageK…

【c++】继承学习(三)菱形继承的挑战与虚拟继承的策略

🔥个人主页:Quitecoder 🔥专栏:c笔记仓 朋友们大家好,本篇文章来讲解继承的第三部分,有关多继承和菱形继承的内容 目录 1.菱形继承2.虚拟继承3.虚拟继承解决数据冗余和二义性的原理4.继承的总结和反思继承…

外汇天眼:PayPoint投资100万英镑,深化与Aperidata开放银行合作

PayPoint今日宣布对Aperidata Ltd进行100万英镑的投资,Aperidata是一家创新的消费者和商业信用报告及开放银行平台。 此交易将使PayPoint集团在两家公司之间现有的商业合作基础上更进一步,为包括政府、地方当局、慈善机构和住房协会在内的多个领域的客户…

Java 五种内部类演示及底层原理详解

内部类 什么是内部类 在A类的内部定义B类,B类就被称为内部类 发动机类单独存在没有意义 发动机为独立个体 可以在外部其他类里创建内部类的对象去调用方法 类的五大成员 属性 方法 构造方法 代码块 内部类 内部类的访问特点 内部类可以直接访问外部类的成员&a…

海外代理IP适用业务是哪些?

在当今数字化时代,互联网已经成为商业和个人生活不可或缺的一部分。IP代理作为出海业务的神器之一,备受跨境出海业务人员关注。IPFoxy动态、静态纯净代理IP也根据业务需求的不同,分为静态住宅、动态住宅、静态IPv4、静态IPv6四种类型代理。那…