Spark 的Standalone集群环境安装与测试

目录

一、Standalone 集群环境安装

（一）理解 Standalone 集群架构

（二）Standalone 集群部署

二、打开监控界面

（一）master监控界面

（二）日志服务监控界面

三、集群的测试

（一）圆周率测试

（二）测试 wordcount

四、关于 Spark 程序构成与监控界面

（一）4040 端口相关

（二）4040 与 8080 界面区别

五、总结

       在大数据处理领域，Spark 是一款极为强大的工具。本文将重点介绍 Spark 的 Standalone 集群环境安装、测试相关内容，帮助大家更好地理解和使用 Spark 的集群模式。

一、Standalone 集群环境安装

（一）理解 Standalone 集群架构

对比图：

  1. 架构特点
    Standalone 集群采用普通分布式主从架构。其中，Master 作为管理节点，其功能丰富，类似于 YARN 中的 ResourceManager，主要负责管理从节点、接收请求、资源管理以及任务调度。Worker 则是计算节点，它会利用自身节点的资源来运行 Master 分配的任务。这个架构为 Spark 提供了分布式资源管理和任务调度功能，和 YARN 的作用基本一致，而且它是 Spark 自带的计算平台。
  2. Python 环境注意事项
    需要注意的是，每一台服务器上都要安装 Anaconda，因为其中包含 python3 环境。若没有安装，就会出现 python3 找不到的错误。

（二）Standalone 集群部署

第一步：将bigdata02和bigdata03安装Annaconda

因为里面有python3环境，假如没有安装的话，就报这个错误：

上传，或者同步

xsync.sh /opt/modules/Anaconda3-2021.05-Linux-x86_64.sh
# 添加执行权限
chmod u+x Anaconda3-2021.05-Linux-x86_64.sh
# 执行
sh ./Anaconda3-2021.05-Linux-x86_64.sh
# 过程
#第一次：【直接回车，然后按q】
   Please, press ENTER to continue
   >>>
#第二次：【输入yes】
 Do you accept the license terms? [yes|no]
 [no] >>> yes
#第三次：【输入解压路径：/opt/installs/anaconda3】
 [/root/anaconda3] >>> /opt/installs/anaconda3
 #第四次：【输入yes，是否在用户的.bashrc文件中初始化
Anaconda3的相关内容】
 Do you wish the installer to initialize  Anaconda3
   by running conda init? [yes|no]
   [no] >>> yes
配置环境变量制作软连接

刷新环境变量：
# 刷新环境变量
source /root/.bashrc
# 激活虚拟环境，如果需要关闭就使用：conda deactivate
conda activate

配置环境变量：
# 编辑环境变量
vi /etc/profile
# 添加以下内容
# Anaconda Home
export ANACONDA_HOME=/opt/installs/anaconda3
export PATH=$PATH:$ANACONDA_HOME/bin

制作软链接：
# 刷新环境变量
source /etc/profile
Spark的客户端bin目录下：提供了多个测试工具客户端
# 创建软连接
ln -s /opt/installs/anaconda3/bin/python3 /usr/bin/python3
# 验证
echo $ANACONDA_HOME

在bigdata01上安装spark

# 解压安装
cd /opt/modules
tar -zxf spark-3.1.2-bin-hadoop3.2.tgz -C /opt/installs
# 重命名
cd /opt/installs
mv spark-3.1.2-bin-hadoop3.2 spark-standalone
# 重新构建软连接
rm -rf spark
ln -s spark-standalone spark

修改 spark-env.sh配置文件

cd /opt/installs/spark/conf
mv spark-env.sh.template spark-env.sh
vim spark-env.sh
# 22行：申明JVM环境路径以及Hadoop的配置文件路径
export JAVA_HOME=/opt/installs/jdk
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop
# 60行左右
export SPARK_MASTER_HOST=bigdata01 # 主节点所在的地址
export SPARK_MASTER_PORT=7077 #主节点内部通讯端口，用于接收客户端请求
export SPARK_MASTER_WEBUI_PORT=8080 #主节点用于供外部提供浏览器web访问的端口
export SPARK_WORKER_CORES=1     # 指定这个集群总每一个从节点能够使用多少核CPU
export SPARK_WORKER_MEMORY=1g   #指定这个集群总每一个从节点能够使用多少内存
export SPARK_WORKER_PORT=7078
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_DAEMON_MEMORY=1g  # 进程自己本身使用的内存
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://bigdata01:9820/spark/eventLogs/ -Dspark.history.fs.cleaner.enabled=true"
# Spark中提供了一个类似于jobHistoryServer的进程，就叫做HistoryServer, 用于查看所有运行过的spark程序

在HDFS上创建程序日志存储目录

首先如果没有启动hdfs，需要启动一下
# 第一台机器启动HDFS
start-dfs.sh
# 创建程序运行日志的存储目录
hdfs dfs -mkdir -p /spark/eventLogs/
spark-defaults.conf：Spark属性配置文件
mv spark-defaults.conf.template spark-defaults.conf
vim spark-defaults.conf
# 末尾
spark.eventLog.enabled           true
spark.eventLog.dir              hdfs://bigdata01:9820/spark/eventLogs
spark.eventLog.compress              true
workers：从节点地址配置文件
mv workers.template workers
vim workers
# 删掉localhost，添加以下内容
bigdata01
bigdata02
bigdata03
log4j.properties：日志配置文件
mv log4j.properties.template log4j.properties
vim log4j.properties
# 19行：修改日志级别为WARN
log4j.rootCategory=WARN, console

log4j的5种 级别  debug --> info --> warn --error -->fatal
同步bigdata01中的spark到bigdata02和03上

xsync.sh为自建脚本

大数据集群中实用的三个脚本文件解析与应用-CSDN博客

xsync.sh /opt/installs/spark-standalone/
接着在第二台和第三台上，创建软链接
cd /opt/installs/
ln -s spark-standalone spark

换个思路，是否可以同步软链接：
xsync.sh /opt/installs/spark
集群的启动
启动master:
cd /opt/installs/spark
sbin/start-master.sh
启动所有worker:
sbin/start-workers.sh
如果你想启动某一个worker
sbin/start-worker.sh

启动日志服务：
sbin/start-history-server.sh

要想关闭某个服务，将start换为stop

二、打开监控界面

（一）master监控界面

http://bigdata01:8080/

（二）日志服务监控界面

http://bigdata01:18080/

假如启动报错，查看日志发现说没有文件夹：
mkdir /tmp/spark-events

hdfs dfs -mkdir -p /spark/eventLogs
再启动即可

三、集群的测试

（一）圆周率测试

在集群环境下进行圆周率测试，与本地模式运行的区别主要在 --master 后面的参数。

# 提交程序脚本：bin/spark-submit
/opt/installs/spark/bin/spark-submit --master spark://bigdata01:7077 /opt/installs/spark/examples/src/main/python/pi.py 200

（二）测试 wordcount

将本地数据上传至 HDFS

参考：Spark 的介绍与搭建：从理论到实践-CSDN博客

hdfs dfs -mkdir -p /spark/wordcount/input
hdfs dfs -put /home/data.txt /spark/wordcount/input

使用集群环境编写测试 wordcount

本地模式：
/opt/installs/spark/bin/pyspark --master local[2]
standalone集群模式：
/opt/installs/spark/bin/pyspark --master spark://bigdata01:7077

读取数据  读取是hdfs上的数据 

# 读取数据  读取是hdfs上的数据
input_rdd = sc.textFile("/spark/wordcount/input")
# 转换数据
rs_rdd = input_rdd.filter(lambda line : len(line.strip())> 0).flatMap(lambda line :line.strip().split(r" ")).map(lambda word : (word,1)).reduceByKey(lambda tmp,item : tmp+item)
# 保存结果
rs_rdd.saveAsTextFile("/spark/wordcount/output3")

以上这些代码跟昨天没区别只是运行环境变了。
本地数据 --> hdfs上的数据
本地资源 --> 集群的资源  这些算子都是在spark自带的standalone集群平台上运行的。

解决一个问题：

spark-env.sh

# 22行：申明JVM环境路径以及Hadoop的配置文件路径
export JAVA_HOME=/opt/installs/jdk
export HADOOP_CONF_DIR=/opt/installs/hadoop/etc/hadoop
# 60行左右
export SPARK_MASTER_HOST=bigdata01 # 主节点所在的地址
export SPARK_MASTER_PORT=7077 #主节点内部通讯端口，用于接收客户端请求
export SPARK_MASTER_WEBUI_PORT=8080 #主节点用于供外部提供浏览器web访问的端口
export SPARK_WORKER_CORES=1     # 指定这个集群总每一个从节点能够使用多少核CPU
export SPARK_WORKER_MEMORY=1g   #指定这个集群总每一个从节点能够使用多少内存
export SPARK_WORKER_PORT=7078
export SPARK_WORKER_WEBUI_PORT=8081
export SPARK_DAEMON_MEMORY=1g  # 进程自己本身使用的内存
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://bigdata01:9820/spark/eventLogs/ -Dspark.history.fs.cleaner.enabled=true"
# Spark中提供了一个类似于jobHistoryServer的进程，就叫做HistoryServer, 用于查看所有运行过的spark程序

修改完之后，同步给bigdata02和03，重新启动各个服务即可。

四、关于 Spark 程序构成与监控界面

在分布式集群模式下，任何一个 Spark 程序都由 1 个 Driver 和多个 Executor 进程所构成。

任何一个spark程序在集群模式下运行，都有两种进程：
Driver、Executor
Driver: 驱动程序，每一个spark程序都只有一个
Executor: 执行进程，负责计算，可以有多个，运行在不同节点

Master和Worker进程，是spark的standalone平台服务启动后的进程，不管是否有任务执行，它都会启动的
Driver、Executor 是只有有任务执行的时候才会有的进程！！

假如一个任务，你看到如下的场景，说明任务没有执行完，需要等......

（一）4040 端口相关

http://bigdata01:4040 查看正在运行的任务

4040这个界面，只要有新任务，就会生成一个新的界面，比如你要是再执行一个任务，端口会变为4041，再来一个任务，端口变4042

默认情况下，当一个Spark Application运行起来后，可以通过访问hostname:4040端口来访问UI界面。hostname是提交任务的Spark客户端ip地址，端口号由参数spark.ui.port(默认值4040，如果被占用则顺序往后探查)来确定。由于启动一个Application就会生成一个对应的UI界面，所以如果启动时默认的4040端口号被占用，则尝试4041端口，如果还是被占用则尝试4042，一直找到一个可用端口号为止

通过这个 界面，可以看到一个任务执行的全部情况。这个界面跟 http://bigdata01:8080界面很像。

（二）4040 与 8080 界面区别

通过案例查看 4040 界面和 8080 界面的区别：

/opt/installs/spark/bin/spark-submit --master spark://bigdata01:7077 /opt/installs/spark/examples/src/main/python/pi.py 1000

假如启动了一个任务在集群上运行，4040端口中查看的所有信息都只跟这个任务有关系，

假如又启动一个任务，4040是看不到了，可以使用4041来查看，依次类推。当任务结束后，404x 这些界面都会销毁掉，相当于只能查看正在运行的一个任务。

8080这个界面是一个总指挥，不仅能看到正在运行的任务，还可以看到已经执行完的任务。

五、总结

        本文围绕 Spark 的 Standalone 集群环境展开。首先介绍其安装，包括理解架构（主从架构，Master 管理资源和任务调度，Worker 执行任务，类似 YARN，且需安装 Anaconda 保证 python3 环境）和部署（在 bigdata02、03 安装 Anaconda，在 bigdata01 安装 Spark 并修改配置文件、创建日志存储目录、配置 Spark 属性、从节点地址和日志等文件），还讲了集群同步与启动方法。接着是测试，圆周率测试和 wordcount 测试，强调了与本地模式在参数和数据来源上的区别。最后阐述 Spark 程序构成（1 个 Driver 和多个 Executor）和监控界面，如 4040 端口可查看正在运行任务（新任务会使端口递增），8080 端口能查看所有任务情况。

        希望本文能帮助大家更好地理解 Spark 的 Standalone 集群环境相关知识，在大数据处理实践中更加得心应手。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/909409.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

VLAN 高级技术 ——QinQ的配置

VLAN 高级技术 ——QinQ的配置

QinQ的概述： QinQ技术是一种扩展虚拟局域网（VLAN）数量空间的技术，通过在802.1Q标签报文的基础上再增加一层802.1Q的Tag来实现。以下是对QinQ技术的详细概述： QinQ技术的定义与背景 定义：QinQ&#xff08…
阅读更多...
伍光和《自然地理学》电子书（含考研真题、课后习题、章节题库、模拟试题）

伍光和《自然地理学》电子书（含考研真题、课后习题、章节题库、模拟试题）

《自然地理学》（第4版）由伍光和、王乃昂、胡双熙、田连恕、张建明合著，于2018年11月出版。作为普通高等教育“十一五”国家级规划教材，本书不仅适用于高校地球科学各专业的基础课程，还可供环境、生态等有关科研、教学人…
阅读更多...
迅为RK3588开发板Android多屏显示之多屏同显和多屏异显

迅为RK3588开发板Android多屏显示之多屏同显和多屏异显

迅为RK3588开发板是一款低功耗、高性能的处理器，适用于基于arm的PC和Edge计算设备、个人移动互联网设备等数字多媒体应用，RK3588支持8K视频编解码，内置GPU可以完全兼容OpenGLES 1.1、2.0和3.2。RK3588引入了新一代完全基于硬件的最大4800万像…
阅读更多...
登录功能设计（php+mysql）

登录功能设计（php+mysql）

一 登录功能 1. 创建一个登录页面（login.php），包含一个表单，用户输入用户名和密码。 2. 在表单的提交事件中，使用PHP代码处理用户输入的用户名和密码。 3. 首先，连接MySQL数据库。然后&a…
阅读更多...
vue--vueCLI

vue--vueCLI

何为CLI ■ CLI是Command-Line Interface,俗称脚手架. ■ 使用Vue.js开发大型应用时，我们需要考虑代码目录结构、项目结构和部署、热加载、代码单元测试等事情。（vue 脚手架的作用）， 而通过vue-cli即可：vue-cli 可以…
阅读更多...
软件测试工程师面试整理 —— 编程与自动化！

软件测试工程师面试整理 —— 编程与自动化！

在软件测试领域，编程与自动化是提升测试效率、覆盖率和可靠性的关键因素。掌握编程技术和自动化测试框架，能够帮助测试人员有效地执行大量重复性测试任务，并迅速反馈软件的质量状况。以下是编程与自动化在测试中的主要应用及相关技术介绍&…
阅读更多...
宝顶白芽，慢生活的味觉盛宴

宝顶白芽，慢生活的味觉盛宴

在快节奏的生活中，人们愈发向往那种悠然自得、返璞归真的生活方式。白茶，以其独特的韵味和清雅的风格，成为了现代人追求心灵宁静与生活品质的象征。而在众多白茶之中，竹叶青茶业出品的宝顶白芽以其甘甜醇爽的特质，成为…
阅读更多...
安卓APP渗透安全测试

安卓APP渗透安全测试

1.移动安全测试点分析 1.1主要测试 客户端 数据传输 服务端 l反编译 l二次打包 l组件安全 lWebview漏洞 l数据安全 l界面劫持 l数据备份风险 lDebug调试风险 l安全策略 l数据窃听 l中间人攻击 l信息泄露 l任意修改数据包 lSQL注入 l上传漏洞 l暴力破解 l逻辑漏洞 lXSS…
阅读更多...
CentOS 7 安装 ntp，自动校准系统时间

CentOS 7 安装 ntp，自动校准系统时间

1、安装 ntp yum install ntp 安装好后，ntp 会自动注册成为服务，服务名称为 ntpd 2、查看当前 ntpd 服务的状态 systemctl status ntpd 3、启动 ntpd 服务、查看 ntpd 服务的状态 systemctl start ntpdsystemctl status ntpd 4、设置 ntpd 服务开机启…
阅读更多...
ESP-HaloPanel：用 ESP32-C2 打造超低成本智能家居面板

ESP-HaloPanel：用 ESP32-C2 打造超低成本智能家居面板

项目简介 在生活品质日益提升的今天，智能家居系统已经走进了千家万户，并逐渐成为现代生活的一部份。与此同时，一款设计精致、体积轻盈、操作简便的全屋智能家居控制面板，已经成为众多家庭的新宠。这种高效、直观的智能化的解决方…
阅读更多...
如何用ChatGPT结合Python处理遥感数据

如何用ChatGPT结合Python处理遥感数据

在科技飞速发展的时代，遥感数据的精准分析已经成为推动各行业智能决策的关键工具。从无人机监测农田到卫星数据支持气候研究，空天地遥感数据正以前所未有的方式为科研和商业带来深刻变革。然而，对于许多专业人士而言，如何高效地处…
阅读更多...
TCP Analysis Flags 之 TCP Keep-Alive

TCP Analysis Flags 之 TCP Keep-Alive

前言 默认情况下，Wireshark 的 TCP 解析器会跟踪每个 TCP 会话的状态，并在检测到问题或潜在问题时提供额外的信息。在第一次打开捕获文件时，会对每个 TCP 数据包进行一次分析，数据包按照它们在数据包列表中出现的顺序进行处理。可…
阅读更多...
使用buildx构建多架构平台镜像

使用buildx构建多架构平台镜像

1. 查看buildx插件信息 比较新的docker-ce版本默认已经集成了buildx插件 [rootdocker ~]# docker buildx version github.com/docker/buildx v0.11.2 9872040 [rootdocker ~]#2. 增加多平台镜像构建支持 通过tonistiigi/binfmt:latest初始化一个基于容器的构建环境&#xff…
阅读更多...
【Linux】编辑器vim 与 编译器gcc/g++

【Linux】编辑器vim 与 编译器gcc/g++

目录 一、编辑器vim： 1、对vim初步理解： 2、vim的模式： 3、进入与退出： 4、vim命令模式下的指令集： 移动光标： 删除： cv： 撤销： 其他： 5、vim底行模…
阅读更多...
面试总结！

面试总结！

OSI七层模型： 什么是OSI七层模型？ 我们需要了解互联网的本质是一系列的网络协议，这个协议就叫做OSI协议（开放系统互联(Open System Interconnection）），它是由ISO（国际标准化组织&…
阅读更多...
人工智能技术：未来生活的“魔法师”

人工智能技术：未来生活的“魔法师”

想象一下，未来的某一天，你醒来时，智能助手已经为你准备好了早餐，你的智能家居系统根据你的心情和日程安排调整了室内的光线和音乐，而你的自动驾驶汽车已经在门口等你。这不是科幻小说，这是人工智能技术为我…
阅读更多...
Multi Agents协作机制设计及实践

Multi Agents协作机制设计及实践

01 多智能体协作机制的背景概述 在前述博客中，我们利用LangChain、AutoGen等开发框架构建了一个数据多智能体的平台，并使用了LangChain的Multi-Agents框架。然而，在实施过程中，我们发现现有的框架存在一些局限性，这些…
阅读更多...
100、Python并发编程：保护临界资源的最简单方式，加锁

100、Python并发编程：保护临界资源的最简单方式，加锁

引言 前面的文章中已经提到了并发编程中能够带来性能提升的同时，也带来了一些问题，比如对共享资源/临界资源的竞争，可能会导致状态的不一致。最终的结果是虽然性能提升了，但是结果却是错误的…… 所以，并发编程中一个…
阅读更多...
PHP电商供应链ERP管理系统小程序源码

PHP电商供应链ERP管理系统小程序源码

🚀电商供应链大揭秘！ERP管理系统如何重塑你的商业版图✨ 🔍 什么是电商供应链ERP管理系统？ 电商供应链ERP管理系统是一款基于FastAdminThinkPHP开发的系统。该系统可满足电商企业管理自身进销存，帮助中小型电商企业管…
阅读更多...
python: Parent-child form operations using ttkbootstrap

python: Parent-child form operations using ttkbootstrap

# encoding: utf-8 # 版權所有 2024 ©塗聚文有限公司 # 許可資訊查看：言語成了邀功的功臣，還需要行爲每日來值班嗎？ # 描述： 主、子表單 窗體傳值 Parent-child form operations # Author : geovindu,Geovin Du 塗聚文. …
阅读更多...
最新文章

Copyright @ 2022~2023