Jobs页面
Stage页面
- 显示额外的指标和摘要指标：
- 摘要指标（Summary Metrics）统计了所有完成的任务的执行行为，包括执行时间、GC时间、输入输出信息等，并提供了最小值（Min）、第25百分位数（P25）、中位数（P50）、第75百分位数（P75）和最大值（Max）的分布情况。
- 通过勾选“显示额外指标”（Show Additional Metrics）中的选项，可以查看到额外的详细信息。
-
数据倾斜问题诊断：
- 检查直方图数据中的Max指标栏，包括数据输入量、运行时间和GC等，与P50和P75的比较。
- 如果数据量和执行时间远大于平均值，可能存在数据倾斜问题。
-
Shuffle效率问题诊断：
- 通过勾选Show Additional Metrics选项，观察ShuffleReadBlockTime指标。
- 如果Task执行时间短，但ShuffleReadBlockTime较长，可能影响执行效率，甚至导致Shuffle Fetch Failed。
-
内存设置问题诊断：
- 通过GC Time与Duration的比值判断内存设置是否合理。
- 参考Peak Execution Memory（可能不完全准确）来分析内存使用的峰值。
使用Aggregated Metrics by Executor功能，对Task执行信息按Executor维度进行统计。
- 该统计功能允许按照Executor维度对任务执行信息进行聚合。
- 用户可以点击进行排序。
- 如果发现作业运行速度比之前慢了很多，并且已经排除了数据倾斜和内存设置不合理的问题，可以通过查看统计值中的Executor数量来确定是否由于资源较少导致运行时间延长。
Environment
- 显示了当前应用程序使用的Spark版本。
- 显示了所有的配置项。
- 日常使用中，可以通过这个页面来确认配置（例如内存设置等）是否正确或者符合预期。
- 该页面可用于查看和分析配置信息。
- 如果想确认自己的作业执行主类设置是否正确，有个sun.java.command：
Executors
- 可以查看整个应用程序级别的Executor维度的概览统计信息。
- 可以找到Driver以及Executor的日志链接。
- 通过Executor概览信息中的GC时间等信息，可以判断内存设置是否合理。
SQL
- 可以查看最近执行的SQL的详情。
- 包括SQL对应的Job链接。
- 包括SQL对应的执行图和执行计划。
