Spark SQL 基本介绍
1、什么是Spark SQL
Spark SQL是Spark多种组件中其中一个，主要是用于处理大规模的【结构化数据】
什么是结构化数据: 一份数据, 每一行都有固定的列, 每一列的类型都是一致的 我们将这样的数据称为结构化的数据 例如: mysql的表数据 1 张三 20 2 李四 15 3 王五 18 4 赵六 12
为什么要学习Spark SQL呢?
1- 会 SQL的人, 一定比会大数据的人多 2- Spark SQL 既可以编写SQL语句, 也可以编写代码, 甚至可以混合使用 3- Spark SQL 可以 和 HIVE进行集成, 集成后, 可以替换掉HIVE原有MR的执行引擎, 提升效率
Spark SQL特点:
1- 融合性: 既可以使用标准SQL语言, 也可以编写代码, 同时支持混合使用 2- 统一的数据访问: 可以通过统一的API来对接不同的数据源 3- HIVE的兼容性: Spark SQL可以和HIVE进行整合, 整合后替换执行引擎为Spark, 核心: 基于HIVE的metastore来处理 4- 标准化连接: Spark SQL也是支持 JDBC/ODBC的连接方式
2、Spark SQL 与 HIVE异同
相同点:
1- 都是分布式SQL计算引擎 2- 都可以处理大规模的结构化数据 3- 都可以建立Yarn集群之上运行
不同点:
1- Spark SQL是基于内存计算, 而HIVE SQL是基于磁盘进行计算的 2- Spark SQL没有元数据管理服务(自己维护), 而HIVE SQL是有metastore的元数据管理服务的 3- Spark SQL底层执行Spark RDD程序, 而HIVE SQL底层执行是MapReduce 4- Spark SQL可以编写SQL也可以编写代码，但是HIVE SQL仅能编写SQL语句
3、Spark SQL的数据结构对比
说明:
pandas的DataFrame: 二维表 处理单机结构数据
SparkCore的RDD: 处理任何的数据结构 处理大规模的分布式数据
SparkSQL的DataFrame: 二维表 处理大规模的分布式结构数据
RDD（Resilient Distributed Dataset）是Spark中最基本的抽象，代表了一个不可变、分布式的数据集合。RDD支持并行操作，可以在集群中的多个节点上进行处理。RDD具有容错性，即使在节点故障时也能够自动恢复。但是RDD只提供了基本的功能，对于结构化数据的处理能力有限。 DataFrame是Spark SQL中的一个概念，它是一种以列为主的分布式数据集合，类似于关系型数据库中的表格。DataFrame具有数据结构化的特点，每一列都有相应的数据类型，而且可以使用SQL语句进行查询和操作。DataFrame也支持大部分RDD的操作，但是在处理结构化数据方面更加方便。 DataSet是Spark 2.0引入的一种新的API，它是DataFrame的一个扩展，提供了类型安全的数据操作。DataSet在编译时检查数据类型，可以避免一些运行时的错误。与DataFrame相比，DataSet更加适用于需要强类型支持的场景，但是在灵活性和易用性方面可能略逊于DataFrame。 由于Python不支持泛型, 所以无法使用Dataset类型, 客户端仅支持DataFrame类型
Spark SQL的入门案例
SparkSession 和 SparkContext 是 Apache Spark 中两个重要的组件，它们在 Spark 应用程序中扮演着不同的角色。
SparkContext:
SparkContext 是 Spark 1.x 版本中最重要的入口点，在 Spark 2.x 版本中，它已经被 SparkSession 取代，但在一些旧的代码和文档中仍然可能会看到它的存在。
SparkContext 是 Spark 应用程序与 Spark 集群通信的主要入口点。它负责与集群管理器（如 YARN、Mesos 或 Spark 自带的 Standalone）通信，以便分配资源和执行任务。
SparkContext 提供了创建 RDD（弹性分布式数据集）的功能，RDD 是 Spark 中基本的数据抽象，代表了分布在集群中的不可变的数据集。
SparkSession:
在 Spark 2.x 中，SparkSession 被引入来取代 SparkContext，并提供了更多功能和简化的 API。，它是 Spark 应用程序中的入口点，封装了 SparkContext。
SparkSession 提供了一种统一的入口点，用于读取数据、执行查询、进行数据处理等各种 Spark 任务。
SparkSession 提供了 DataFrame 和 Dataset API，这两种 API 提供了更高级别、更易于使用的抽象，用于处理结构化数据。
与 SparkContext 不同，SparkSession 可以与 Hive 集成，允许在 Spark 应用程序中执行 SQL 查询，并访问 Hive 中的表和数据。
总之，SparkContext 是 Spark 1.x 版本中的主要入口点，负责与集群通信和管理资源，而 SparkSession 是 Spark 2.x 中的主要入口点，提供了更多的功能和简化的 API，用于执行各种 Spark 任务，并且可以与 Hive 集成。还可以通过SparkSession对象还是可以得到SparkContext对象。
入门体验
# 导包
import os
from pyspark.sql import SparkSession
# 绑定指定的python解释器
os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ['PYSPARK_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ['PYSPARK_DRIVER_PYTHON'] = '/root/anaconda3/bin/python3'
# 创建main函数
if __name__ == '__main__':
# 1.创建SparkContext对象
spark = SparkSession.builder.appName('pyspark_demo').master('local[*]').getOrCreate()
sc = spark.sparkContext
# print(spark,type(spark))
# print(sc,type(sc))
# 2.验证是否能生成rdd
textRDD = sc.textFile('file:///export/data/spark_project/spark_sql/data/uniqlo.csv')
# collect: 搜集数据触发任务展示数据 count:获取数据条数 type:查看类型
# print(textRDD.collect())
print(textRDD.count())
print(type(textRDD)) # <class 'pyspark.rdd.RDD'>
# 验证是否能生成DataFrame
df = spark.read.csv('file:///export/data/spark_project/spark_sql/data/uniqlo.csv')
# show: 展示数据 count:获取数据条数 type:查看类型
# print(df.show())
print(df.count())
print(type(df)) # <class 'pyspark.sql.dataframe.DataFrame'>
# 3.关闭资源
sc.stop()
spark.stop()
