spark无法执行pi_如何验证spark搭建完毕

article2024/12/26 5:22:31/文章来源:https://blog.csdn.net/HYSliuliuliu/article/details/134788959

在配置yarn环境下的spark时，执行尚硅谷的以下命令发现报错，找不到这个也找不到那个，尚硅谷的代码是

bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ ./examples/jars/spark-examples_2.12-3.0.0.jar \ 10

正确代码是：

bin/spark-submit --master yarn --deploy-mode client --class org.apache.spark.examples.SparkPi /opt/module/spark-yarn/examples/jars/spark-examples_*.jar 10

去hadoop103::8088查看：

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/216411.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

初试占比7成！只考一门数据结构+学硕复录比1:1的神仙学校，大连交通大学考情分析

大连工业大学考研难度（☆） 内容：23考情概况（拟录取和复试分析）、院校概况、24专业目录、23复试详情、各专业考情分析、各科目考情分析。正文1014字，预计阅读：3分钟 2023考情概况大连工业…

企业电子招投标系统源码之电子招投标系统建设的重点和未来趋势

功能描述 1、门户管理：所有用户可在门户页面查看所有的公告信息及相关的通知信息。主要板块包含：招标公告、非招标公告、系统通知、政策法规。 2、立项管理：企业用户可对需要采购的项目进行立项申请，并提交审批，查看所…

中危漏洞！小程序优惠卷遍历

进入小程序，因为是一个小商城，所以照例先查看收货地址是否存在越权，以及能否未授权访问，但是发现不存在这些问题，所以去查看优惠卷进入领券中心，点击领取优惠券时抓包发现数据包，存在敏感参数…

【android开发-14】android中fragment用法详细介绍

1，fragment是什么？ Fragment是Android中的一种组件，它在Android 3.0（API级别11）及以后的版本中引入。Fragment可以用来在Activity中添加一个或多个具有自己的用户界面的片段。它们可以与Activity进行交互，并…

MS8231/8232微功耗、高精度、轨到轨输入输出运算放大器

产品简述 MS8231/8232 是单通道、双通道的轨到轨输入输出单电源运放。它们具有很低的功耗和较高的精度，很适合电池供电和便携式电子系统。 MS8231/8232 具有稳定的单位增益特性，并具有 13kHz 的信号带宽，使其适合电池电流检测和传…

今天按照官网步骤初始化项目，第一次报错 fatal: unable to access https://github.com/ant-design/ant-design-pro/: SSL certificate problem: unable to get local issuer certificate 致命：无法访问https://github.com/ant-design/ant-design-pro/&…

虾皮数据分析网站：了解Shopee市场趋势与优化运营的利器

在如今的电商时代，越来越多的人选择在虾皮购物（Shopee）平台上开设自己的店铺。然而，要在这个竞争激烈的市场中脱颖而出并取得成功，并不是一件容易的事情。为了更好地了解市场趋势、优化产品和店铺运营，了解…

直流负载的核心组成

直流负载的核心组成包括电源、电阻和电流表，电源是直流负载的能量来源，通常采用直流电源或电池。电阻是直流负载的负载元件，用于消耗电流并产生电功率。电流表用于测量通过电阻的电流大小，在实际应用中，直流负载还可能…

全屏显示功能

全屏显示功能 screenfull 依赖下载 yarn add screenfull --save-dev使用 <template><header><i class"iconfont icon-quanping"> </i></header> </template> <script> import screenfull …

openGauss学习笔记-142 openGauss 数据库运维-例行维护-导出并查看wdr诊断报告

文章目录 openGauss学习笔记-142 openGauss 数据库运维-例行维护-导出并查看wdr诊断报告 openGauss学习笔记-142 openGauss 数据库运维-例行维护-导出并查看wdr诊断报告生成快照数据需参数enable_wdr_snapshoton，访问WDR快照数据需要sysadmin或monadmin权限&#…

$Bad file descriptor (C:\ci\zeromq_1602704446950\work\src\epoll.cpp:100)$

Bad file descriptor (C:\ci\zeromq_1602704446950\work\src\epoll.cpp:100)

文章目录报错信息问题原因解决方案报错信息 Bad file descriptor (C:\ci\zeromq_1602704446950\work\src\epoll.cpp:100) 问题原因更新 pandas 的时候自动安装了高版本的 pyzmq 依赖库。而 jupyter 依赖的是 pyzmq19.0.2 版本的。同时，如果win电脑是中文的用户…

vs-code之vue3插件

1.Vue 3 Support - All In One Vue3 代码片段突出显示了 Visual Studio Code 的格式化程序生成器生成vue3对应的的代码如ref等， 2.Volar 相信使用 VSCode 开发 Vue2 的同学一定对 Vetur 插件不会陌生，作为 Vue2 配套的 VSCode 插件，它的主…

冰酒为什么贵？一篇给你讲清楚

冰酒因为昂贵被定义为：颜色和价格都如同黄金的奢侈品。那么，号称液体黄金的冰酒为什么这么贵呢？云仓酒庄给大家讲讲清楚。云仓酒庄多品牌多代言运营模式，邀请当红明星来出席或代言自身产品，找到与品牌自身形象、调性相…

智能优化算法应用：基于和声算法无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于和声算法无线传感器网络(WSN)覆盖优化 - 附代码文章目录智能优化算法应用：基于和声算法无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.和声算法4.实验参数设定5.算法结果6.参考文献7.MATLAB…

如何看待 Android 面试却是 Java 面试官？

如何看待 Android 面试却是 Java 面试官？ 在开始前我有一些资料，是我根据自己从业十年经验，熬夜搞了几个通宵，精心整理了一份「Android资料从专业入门到高级教程工具包」，点个关注，全部无偿共享给大家&…

大学生如何搭建自己的网站

这篇是我在大一的时候，写过的一篇文章。前言作为一名大学生，我觉得搭建个人网站很有意义。这篇博客讲述的是这个寒假，我是如何从零到搭建好个人网站的过程。我提供的主要是具体的思路，也附带了一些零零散散的细节。时间跨度…

在用户不安装 ImageMagick 的情况下使用

需要以编程的方式配置环境变量（手工配置也是一样的效果） 1、首先要配置 path 将 {ImageMagick目录} 配置到path中 2、配置 MAGICK_HOME 将 {ImageMagick目录} 配置到MAGICK_HOME中 3、配置MAGICK_CODER_MODULE_PATH 将 {ImageMagick目录}\modules\…