分布式的计算框架之Spark（python第三方库视角学习PySpark）

基本介绍

Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎 。现在形成一个高速发展应用广泛的生态系统。

特点介绍

Spark 主要有三个特点：

首先，高级 API 剥离了对集群本身的关注，Spark 应用开发者可以专注于应用所要做的计算本身。

其次，Spark 很快，支持交互式计算和复杂算法。

最后，Spark 是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等，而在 Spark 出现之前，我们一般需要学习各种各样的引擎来分别处理这些需求。（来源百度百科）

park对python语言的支持--->PySpark

Spark对Python语言的支持,重点体现在Python的第三方库: PySpark

PySpark是由Spark官方开发的Python语言第三方库Python开发者可以使用pip程序快速的安装PySpark并像其它三方库那样直接使用。

基础准备

PySpark库的安装

在命令行中输入：pip install pyspark

使用国内代理镜像网站：pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark

PySpark执行环境入口对象的构建

想要使用PySpark库完成数据处理,首先需要构建一个执行环境入口对象。

PySpark的执行环境入口对象是:类SparkContext的类对象

如何通过代码获得类对象，代码如下：

from pyspark import SparkConf, SparkContext

# 创建SparkConf类对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")  # 链式调用，不管调用什么样的方法，返回的都是同一个对象
# 基于SparkConf类对象创建SparkContext对象
sc = SparkContext(conf=conf)
# 打印pyspark的运行版本
print(sc.version)
# 停止SparkContext对象的运行（停止pyspark程序）
sc.stop()

image.png

PySpark的编程模型

PySpark的编程，主要分为如下三大步骤：

image.png

数据输入

RDD对象

PySpark支持多种数据的输入,在输入完成后，都会得到一个:RDD类的对象

RDD全称为: 弹性分布式数据集(Resilient Distributed Datasets)

PySpark针对数据的处理，都是以RDD对象作为载体即:

（1）数据存储在RDD内

（2）各类数据的计算方法，也都是RDD的成员方法

（3）RDD的数据计算方法，返回值依旧是RDD对象

Python数据容器转RDD对象

PySpark支持通过SparkContext对象的parallelize成员方法，将list、tuple、set、dict、str转换为PySpark的RDD对象。

from pyspark import SparkConf, SparkContext

# 创建SparkConf类对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")  # 链式调用，不管调用什么样的方法，返回的都是同一个对象
# 基于SparkConf类对象创建SparkContext对象
sc = SparkContext(conf=conf)
rdd1 = sc.parallelize([1, 2, 3, 4, 5])  # 列表
rdd2 = sc.parallelize((1, 2, 3, 4, 5))  # 元组
rdd3 = sc.parallelize("study python")  # 字符串
rdd4 = sc.parallelize({1, 2, 3, 4, 5})  # 集合
rdd5 = sc.parallelize({"key1": "value1", "key2": "value2", "key3": "value3"})  # 字典

# 如果要查看RDD里面有什么内容，需要用collect()方法
print(rdd1.collect())
print(rdd2.collect())
print(rdd3.collect())
print(rdd4.collect())
print(rdd5.collect())

# # 停止SparkContext对象的运行（停止pyspark程序）
sc.stop()

image.png

注意:

（1）字符串会被拆分出1个个的字符，存入RDD对象字典

（2）仅有key会被存入RDD对象

读取文件转RDD对象

PySpark支持通过SparkContext入口对象，来读取文件并构建出RDD对象

前面逻辑都是一样的，只是调用方法不一样，需要使用sc.textFile

from pyspark import SparkConf, SparkContext

# 创建SparkConf类对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")  # 链式调用，不管调用什么样的方法，返回的都是同一个对象

# 基于SparkConf类对象创建SparkContext对象
sc = SparkContext(conf=conf)

rdd = sc.textFile("G:\资料\2011年1月销售数据.txt")

# 如果要查看RDD里面有什么内容，需要用collect()方法
print(rdd.collect())

# # 停止SparkContext对象的运行（停止pyspark程序）
sc.stop()

image.png

数据计算

PySpark的数据计算，都是依赖RDD对象内置丰富的“成员方法（算子）”来进行的

因为spark是一个分布式程序，内部运行机制比较复杂，暂不讨论，我们只需要知道在python中运行spark程序时，需要额外增加以下代码，否则会报错：spark找不到python程序

# 添加'PYSPARK_PYTHON'和'PYSPARK_DRIVER_PYTHON'的执行环境
os.environ['PYSPARK_PYTHON'] = sys.executable  # "E:/python/python.exe"
os.environ['PYSPARK_DRIVER_PYTHON'] = sys.executable  # "E:/python/python.exe"

（1）map方法

功能：将RDD的数据一条条处理，返回新的RDD

语法：rdd.map(fun) # 需要传入一个函数

需求：给[1,2,3,4,5]每个数字乘以10

代码如下：

import sys
from pyspark import SparkConf, SparkContext
import os

# 添加'PYSPARK_PYTHON'和'PYSPARK_DRIVER_PYTHON'的执行环境
os.environ['PYSPARK_PYTHON'] = sys.executable  # "E:/python/python.exe"
os.environ['PYSPARK_DRIVER_PYTHON'] = sys.executable  # "E:/python/python.exe"

# 创建SparkConf类对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")  # 链式调用，不管调用什么样的方法，返回的都是同一个对象
# 基于SparkConf类对象创建SparkContext对象
sc = SparkContext(conf=conf)
# 需求：通过map方法将全部数据都乘以10
rdd = sc.parallelize([1, 2, 3, 4, 5])
# 把rdd中的每一个数据都调用匿名函数（也可通过def重新定义函数）去处理
rdd2 = rdd.map(lambda x: x * 10)
print(rdd2.collect())
# 停止SparkContext对象的运行（停止pyspark程序）
sc.stop()

image.png

（2）flatMap方法

功能：对RDD执行map操作，然后进行解除嵌套操作

# 嵌套的list
list = [[1,2,3],[4,5,6],[7,8,9]]

# 解除了嵌套
list = [1,2,3,4,5,6,7,8,9]

示例代码：

import sys
from pyspark import SparkConf, SparkContext
import os

# 添加'PYSPARK_PYTHON'和'PYSPARK_DRIVER_PYTHON'的执行环境
os.environ['PYSPARK_PYTHON'] = sys.executable  # "E:/python/python.exe"
os.environ['PYSPARK_DRIVER_PYTHON'] = sys.executable  # "E:/python/python.exe"

# 创建SparkConf类对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")  # 链式调用，不管调用什么样的方法，返回的都是同一个对象
# 基于SparkConf类对象创建SparkContext对象
sc = SparkContext(conf=conf)

rdd = sc.parallelize(["hello python", "hello word", "hello friend"])
# 需求：将RDD中的每一个单词都提取出来
rdd2 = rdd.flatMap(lambda x: x.split(" "))
print(rdd2.collect())

image.png

（3）reduceByKey方法

功能：针对KV型RDD（二元元组），自动按照key分组，然后根据你提供的聚合逻辑，完成组内数据（value）的聚合操作。

语法：

rdd.reduceByKey(func)
# func:(V,V）-> V
# 接受2个传入参数（类型要一致），返回一个返回值，类型和传入要求一致。

示例代码：

# 前面创建RDD对象不做赘述了
# 准备一个RDD
rdd = sc.parallelize([('男', 99), ('男', 80), ('男', 70), ('女', 100), ('女', 85)])
# 求男生和女生两个组的成绩之和
rdd2 = rdd.reduceByKey(lambda a, b: a + b)
print(rdd2.collect())

image.png

案例1

对下面txt文件中的单词进行计数统计

image.png

代码如下：

import sys
from pyspark import SparkConf, SparkContext
import os

# 添加'PYSPARK_PYTHON'和'PYSPARK_DRIVER_PYTHON'的执行环境
os.environ['PYSPARK_PYTHON'] = sys.executable  # "E:/python/python.exe"
os.environ['PYSPARK_DRIVER_PYTHON'] = sys.executable  # "E:/python/python.exe"

# 创建SparkConf类对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")  # 链式调用，不管调用什么样的方法，返回的都是同一个对象
# 基于SparkConf类对象创建SparkContext对象
sc = SparkContext(conf=conf)

# 读取数据文件
rdd = sc.textFile("G:/hello.txt")
# 读取全部单词
word_rdd = rdd.flatMap(lambda x: x.split(" "))
# 将所有单词都转换成二元元组，单词为key，value设置为1
word_one_rdd = word_rdd.map(lambda word: (word, 1))
# 分组并求和传承传承
result_rdd = word_one_rdd.reduceByKey(lambda a, b: a + b)
print(result_rdd.collect())

image.png

（4）filter方法

功能：过滤想要的数据进行保留

语法：

rdd.filter(func)
# func: (T)-->bool  传入1个参数进来随意类型，返回值必须是true or false

示例代码：

# 前面创建RDD对象不做赘述了
# 准备一个RDD
rdd = sc.parallelize([1, 2, 3, 4, 5])
# 对RDD的数据进行过滤，偶数返回true，保留偶数
rdd2 = rdd.filter(lambda num: num % 2 == 0)
print(rdd2.collect())

image.png

（5）distinct方法

功能：对RDD数据进行去重，返回新RDD

语法：rdd.distinct()

实例代码：

# 前面创建RDD对象不做赘述了
# 准备一个RDD
rdd = sc.parallelize([1, 1, 2, 2, 3, 3, 4, 5, 6, 7, 7, 8, 9])
# 对RDD的数据进行去重
rdd2 = rdd.distinct()
print(rdd2.collect())

image.png

（6）stortBy方法

功能：对RDD数据进行排序，基于你指定的排序依据

语法：

rdd.sortBy(func，ascending=False， numPartitions=1)
# func: (T) -> U: 告知按照rdd中的哪个数据进行排序，比如 lambda x: [1] 表按照rdd中的第二列元素进行排序
# ascending True升序 False 降序
# numPartitions: 用多少分区排序

示例代码：

以上对单词进行计数统计的案例1中，对结果按照单词出现的次数从大到小进行排序

# 对结果进行排序
final_rdd = result_rdd.sortBy(lambda x: x[1], ascending=False, numPartitions=1)
print(final_rdd.collect())

image.png

案例2

需求：对以下文件使用spark读取文件进行计算：

（1）各个城市销售额排名，从大到小

（2）全部城市,有哪些商品类别在售卖

（3）北京市有哪些商品类别在售卖

image.png

案例代码：

import sys
from pyspark import SparkConf, SparkContext
import os
import json

# 添加'PYSPARK_PYTHON'和'PYSPARK_DRIVER_PYTHON'的执行环境
os.environ['PYSPARK_PYTHON'] = sys.executable  # "E:/python/python.exe"
os.environ['PYSPARK_DRIVER_PYTHON'] = sys.executable  # "E:/python/python.exe"

# 创建SparkConf类对象
conf = SparkConf().setMaster("local[*]").setAppName("test_spark_app")  # 链式调用，不管调用什么样的方法，返回的都是同一个对象
# 基于SparkConf类对象创建SparkContext对象
sc = SparkContext(conf=conf)

# (1)城市销售额排名
# 读取数据文件
file_rdd = sc.textFile("G:/orders.txt")
# 读取文件中单个json字符串
json_str_rdd = file_rdd.flatMap(lambda x: x.split("|"))
# 将单个字符串转换为字典
dict_rdd = json_str_rdd.map(lambda x: json.loads(x))
# 取出城市和销售额数据（城市，销售额）
city_money_rdd = dict_rdd.map(lambda x: (x['areaName'], int(x['money'])))
# 按照城市分组,按照销售额累计
city_result_rdd = city_money_rdd.reduceByKey(lambda a, b: a + b)
# 按照销售额累计结果进行排序
result1_rdd = city_result_rdd.sortBy(lambda x: x[1], ascending=False, numPartitions=1)
print("各个城市销售额排名，从大到小:", result1_rdd.collect())
# (2)全部城市,有哪些商品类别在售卖
category_rdd = dict_rdd.map(lambda x: x['category']).distinct()
print("全部城市,有哪些商品类别在售卖:", category_rdd.collect())
# (3)北京市有哪些商品类别在售卖
beijing_data_rdd = dict_rdd.filter(lambda x: x['areaName'] == '北京')
beijing_category = beijing_data_rdd.map(lambda x: x['category']).distinct()
print('北京市有哪些商品类别在售卖:', beijing_category.collect())

image.png

数据输出

RDD的结果输出为Python对象的各类方法

（1）collect方法

功能：将RDD各个分区内的数据，统一收集到Driver中，形成一个List对象

语法：rdd.collect()，返回值是一个list

此方法我们前面一直在使用，不做赘述

（2）reduce方法

功能：对RDD数据集按照你传入的逻辑进行聚合

语法：rdd.reduce(func)，两参数传入，1个返回值，返回值和参数要求类型一致

示例代码：

rdd = sc.parallelize([1, 2, 3, 4, 5])
print(rdd.reduce(lambda a, b: a + b))
# 输出结果为两两相加的值：15

（3）take方法

功能：取RDD的前n个元素，组成list返回

语法：rdd.take(num)，num代表前几个元素

示例代码：

rdd = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])
print(rdd.take(5))
# 输出结果为：[1, 2, 3, 4, 5]

（4）count方法

功能：计算RDD有多少条数据，返回值是一个数字

用法：rdd.count()

示例代码：

rdd = sc.parallelize([1, 2, 3, 4, 5, 6, 7, 8, 9, 10])
print(rdd.count())
# 输出结果为：10

注意：

关于Spark的方法（算子）还有很多很多，我们目前不是深入学习python语言，同时也没有学习分布式，只是简单学习对自动化测试打下基础，所以本篇文章只介绍了最基础的几个。

将RDD的内容输出到文件中

（5）saveAsTextFile方法

功能：将RDD的数据写入文本文件中，支持本地写出，hdfs（Hadoop分布式文件系统）等文件系统。

语法： rdd.saveAsTextFile("../data/output/test.txt")

想要这个方法正常运行，还需要配置Hadoop依赖，自行百度配置

运行之后，内容会存在多个分区中，输出的结果是一个文件夹，有几个分区就输出多少个结果文件

修改RDD分区为1个

方式1：SparkConf对象设置conf.set("spark.default.parallelism", "1")

方式2：创建RDD的时候，sc.parallelize方法传入numSlices参数为1

# 方式1,SparkConf对象设置属性全局并行度为1:
conf = SparkConf().setMaster("Tocal[*]").setAppName("test_spark")
conf.set("spark.default.parallelism", "1")
sc = SparkContext(conf=conf)
# 方式2, 创建RDD的时候设置(parallelize方法传入numSlices参数为1)
rdd1 = sc.parallelize([1, 2, 3, 4, 5], numSlices=1)
rdd1 = sc.parallelize([1, 2, 3, 4, 5], 1)

行动吧，在路上总比一直观望的要好，未来的你肯定会感 谢现在拼搏的自己！如果想学习提升找不到资料，没人答疑解惑时，请及时加入扣群： 320231853，里面有各种软件测试+开发资料和技术可以一起交流学习哦。

最后感谢每一个认真阅读我文章的人，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走：

​

这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/546995.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

牛客网刷题：BC48 牛牛的线段

牛客网刷题：BC48 牛牛的线段

输入描述： 第一行输入 x1 和 y1，用空格隔开。 第二行输入 x2 和 y2，用空格隔开。 其中 x1 ， y1 ，x2 ，y2 都是整数 输出描述： 输出线段的长度的平方 解题思路： 定义四个变量 用…
阅读更多...
【黑马头条】-day06自媒体文章上下架-Kafka

【黑马头条】-day06自媒体文章上下架-Kafka

文章目录 今日内容1 Kafka1.1 消息中间件对比1.2 kafka介绍1.3 kafka安装及配置1.4 kafka案例1.4.1 导入kafka客户端1.4.2 编写生产者消费者1.4.3 启动测试1.4.4 多消费者启动 1.5 kafka分区机制1.5.1 topic剖析 1.6 kafka高可用设计1.7 kafka生产者详解1.7.1 同步发送1.7.2 异…
阅读更多...
【C 数据结构】栈

【C 数据结构】栈

文章目录 【 1. 基本原理 】栈的分类 【 2. 动态链表栈 】2.1 双结构体实现2.1.0 栈的节点设计2.1.1 入栈2.1.2 出栈2.1.3 遍历2.1.4 实例 2.2 单结构体实现2.2.0 栈的节点设计2.2.1 入栈2.2.2 出栈2.2.3 实例 【 3. 顺序栈 】3.1 入栈3.2 出栈3.3 实例 【 1. 基本原理 】 栈&…
阅读更多...
操作系统：进程(二)

操作系统：进程(二)

进程的状态 进程状态反映进程执行过程的变化。这些状态随着进程的执行和外界条件的变化而转换。在三态模型中，进程状态分为三个基本状态，即运行态，就绪态，阻塞态。 一个进程从创建而产生至撤销而消亡的整个生命期间，…
阅读更多...
【图像分类】基于深度学习的轴承和齿轮识别（ResNet网络）

【图像分类】基于深度学习的轴承和齿轮识别（ResNet网络）

写在前面： 首先感谢兄弟们的关注和订阅，让我有创作的动力，在创作过程我会尽最大能力，保证作品的质量，如果有问题，可以私信我，让我们携手共进，共创辉煌。（专栏订阅用户订阅专栏后免费提供数据集和源码一份，超级VIP用户不在服务范围之内，不想订阅专栏的兄弟们可以私信…
阅读更多...
java的深入探究JVM之类加载与双亲委派机制

java的深入探究JVM之类加载与双亲委派机制

前言 前面学习了虚拟机的内存结构、对象的分配和创建，但对象所对应的类是怎么加载到虚拟机中来的呢？加载过程中需要做些什么？什么是双亲委派机制以及为什么要打破双亲委派机制？ 类的生命周期 类的生命周期包含了如上的7个阶段&a…
阅读更多...
A complete evaluation of the Chinese IP geolocation databases（2015年）

A complete evaluation of the Chinese IP geolocation databases（2015年）

下载地址：A Complete Evaluation of the Chinese IP Geolocation Databases | IEEE Conference Publication | IEEE Xplore 被引用次数：12 Li H, He Y, ** R, et al. A complete evaluation of the Chinese IP geolocation databases[C]//2015 8th International Conference…
阅读更多...
MyBatis 源码分析系列文章导读

MyBatis 源码分析系列文章导读

1.本文速览 本篇文章是我为接下来的 MyBatis 源码分析系列文章写的一个导读文章。本篇文章从 MyBatis 是什么（what），为什么要使用（why），以及如何使用（how）等三个角度进行了说明和演…
阅读更多...
异地组网如何安装？

异地组网如何安装？

【天联】是一款强大的异地组网安装工具，可以帮助企业实现远程设备的统一管理和协同办公。以下是【天联】可以应用的一些场景： 零售、收银软件应用统一管理：【天联】可以结合医药、餐饮、商超等零售业的收银软件，实现异地统一管理。…
阅读更多...
TongRds docker 镜像做成与迁移（by liuhui）

TongRds docker 镜像做成与迁移（by liuhui）

TongRds docker 镜像做成与迁移 一，使用 docker commit 命令制作 TongRds docker 镜 像 1.1 拉取基础镜像 centos 并运行该镜像 拉取镜像：docker pull ubuntu 镜像列表：docker images 运行镜像：docker run -itd --name myubuntu…
阅读更多...
吴恩达2022机器学习专项课程(一） 第二周课程实验：使用 scikit-learn 进行线性回归（Lab_05 Lab_06）

吴恩达2022机器学习专项课程(一） 第二周课程实验：使用 scikit-learn 进行线性回归（Lab_05 Lab_06）

目标 使用scikit-learn实现线性回归(SGDRegressor和LinearRegression)。 1.什么是scikit-learn? 一个用于 Python 编程语言的开源机器学习库,用于实现各种机器学习算法。 2.特征缩放（Z标准化） 第一步先使用Z标准化处理训练样本，减少训练…
阅读更多...
C#创建随机更换背景图片的窗体的方法：创建特殊窗体

C#创建随机更换背景图片的窗体的方法：创建特殊窗体

目录 一、涉及到的知识点 1.图片资源管理器设计Resources.Designer.cs 2.把图片集按Random.Next方法随机化 3.BackgroundImage属性 二、实例设计 1. Resources.Designer.cs 2.Form1.Designer.cs 3.Form1.cs 4.生成效果 很多时候，我们需要每次打开窗体时能够…
阅读更多...
项目三：学会如何使用python爬虫请求库（小白入门级）

项目三：学会如何使用python爬虫请求库（小白入门级）

根据上一篇文章我们学会的如何使用请求库和编写请求函数，这一次我们来学习一下爬虫常用的小技巧。 自定义Headers Headers是请求的一部分，包含了关于请求的元信息。我们可以在requests调用中传递一个字典来自定义Headers。代码如下 import requests h…
阅读更多...
如何做一个springboot的starter类型的SDK

如何做一个springboot的starter类型的SDK

关键的东西 首先我们是一个starter类型的SDK，为了给调用者使用，其中有一些Bean我们会放到SDK中，并且这些Bean能够注入到调用者的Spring容器中。 最关键的spring.factories文件 这个文件所在位置如下图所示，该文件通过写入一下代…
阅读更多...
六、新闻主题分类任务

六、新闻主题分类任务

以一段新闻报道中的文本描述内容为输入，使用模型帮助我们判断它最有可能属于哪一种类型的新闻，这是典型的文本分类问题。我们这里假定每种类型是互斥的，即文本描述有且只有一种类型，例如一篇新闻不能即是娱乐类又是财经类&#xf…
阅读更多...
云正在使 IT 受益，但对业务却没有好处

云正在使 IT 受益，但对业务却没有好处

云具有巨大的商业价值！这是云提供商及其盟友在每次云计算会议上高喊的战斗口号。 您永远不会听到我说“云”始终是正确的解决方案，或者就此而言，是错误的解决方案。 在作为云专家 20 多年的时间里，从来没有盲目追随云计算先驱或…
阅读更多...
面试手撕合集

面试手撕合集

82.删除排序链表中的重复元素II 定义单个指针 cur，指向虚拟头节点。如果 cur.next cur.next.next，说明 cur 后面的两个节点重复，例如 节点2 后面存在 2个节点3。我们令 节点2 -> 节点4，实现删除两个节点3的操作。 class Solut…
阅读更多...
visual studio连接ubuntu不成功原因(SSH问题)及解决办法

visual studio连接ubuntu不成功原因(SSH问题)及解决办法

原因1： 网络没有互通（一般VMware） 使用ping来看网络是不是可以互通，例如： //这里的ip是ubuntu的ip，也可以从ubuntu的客户端ping一下当前主机 ping 192.168.1.101原因2： SSH没有密钥&#xf…
阅读更多...
从iPhone恢复已删除照片的最佳软件

从iPhone恢复已删除照片的最佳软件

本文分享了从iPhone恢复已删除照片的最佳软件。如果您正在寻找如何从iPhone恢复已删除的照片，请查看这篇文章。 为什么您需要软件从iPhone恢复已删除的照片？ 没有什么比丢失iPhone上的重要数据更痛苦的了，尤其是一些具有珍贵回忆的照片。有时…
阅读更多...
❤ vue3 使用报错

❤ vue3 使用报错

❤ vue3 项目使用报错 vue3语法变动 TypeError: Assignment to constant variable （常量变量） 背景： Vue3 项目使用 TypeError: Assignment to constant variable. 原因： 因为我对const定义的常量重新赋值了 解决方法&#…
阅读更多...
最新文章

Copyright @ 2022~2023