【 Spark编程基础 】实验1

文章目录

  • 第1部分:虚拟机的准备工作
    • 1.1 下载安装虚拟机
    • 1.2 修改主机名
    • 1.3 主机ip映射
    • 安装SSH服务端
    • SFTP连接,传输安装包
    • 安装Java环境
  • 第2部分 Hadoop安装
    • 2.1 安装Hadoop
  • 第3部分 配置集群环境
  • 第4部分 Spark安装

第1部分:虚拟机的准备工作

1.1 下载安装虚拟机

  • 这里一开始使用Mac电脑安装虚拟机,使用UTM,但是过程曲折,后期换成了Windows系统,使用VMWare安装虚拟机
    在这里插入图片描述

1.2 修改主机名

在这里插入图片描述
在这里插入图片描述

1.3 主机ip映射

  • 获取Ubuntu虚拟机网卡编号

    • 获取Ubuntu虚拟机的网卡编号:ifconfig
    • 如果提示未安装ifconfig,需下载ifconfig:sudo apt install ifconfig
    • 如果提示未安装net-tools,需下载net-tools :sudo apt install net-tools
    • 如提示需更新:sudo apt-get update
      在这里插入图片描述
  • 修改虚拟机IP地址(可选,建议不要改,动态配置地址)

    • 修改虚拟机IP地址
    • cd /etc/netplan/
    • (tab)
    • 修改成以下代码
    • 生效:
      • sudo netplan apply
      • sudo netplan try
        在这里插入图片描述
        在这里插入图片描述
  • 主机ip映射:打开hosts文件,新增三条IP与主机的映射关系:

    • 这里的ip地址根据自己ifconfig现实的ip地址更改!!!
    • 后期改成了192.168.131.128
      在这里插入图片描述
  • 注意:这里的网关为宿主机IP!!!
    在这里插入图片描述

安装SSH服务端

  • 设置SSH无密码登录
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

SFTP连接,传输安装包

安装Java环境

  • 下载地址:https://repo.huaweicloud.com/java/jdk/8u202-b08/
  • mac OS使用arm版本,windows使用x64
    在这里插入图片描述
  • 配置环境变量
    在这里插入图片描述
  • 这里使用Terminal远程登陆了虚拟机,界面发生了变化
    在这里插入图片描述

第2部分 Hadoop安装

2.1 安装Hadoop

在这里插入图片描述

第3部分 配置集群环境

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

第4部分 Spark安装

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

数据本2002刘浩
CSDN:小手の冰凉(ID:Lenhart001)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/3338.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【设计模式-工厂方法】想象力和创造力:你考虑过自动化实现工厂吗?

无限思维-想象力和创造力:自动化实现工厂方法前言一、《大话设计模式》对应的Java版本工厂方法类图先行:代码实现:思考升华:二、想象力:创新型思维解决思路战略上:以无限思维的角度去想问题:部署…

SpringBoot整合数据可视化大屏使用

1 前言 DataV数据可视化是使用可视化应用的方式来分析并展示庞杂数据的产品。DataV旨让更多的人看到数据可视化的魅力,帮助非专业的工程师通过图形化的界面轻松搭建专业水准的可视化应用,满足您会议展览、业务监控、风险预警、地理信息分析等多种业务的展示需求, 访问地址:h…

文件上传的多种利用方式

文件上传的多种利用方式 文件上传漏洞除了可以通过绕过检测进行webshell的上传之外,还有多种其它的漏洞可以进行测试。 XSS漏洞 文件名造成的XSS 当上传任何文件时,文件名肯定是会反显示在网页上,可以使用 XSS Payload做文件名尝试将其上传到…

upload—labs(9-12)

pass9直接查看的源码,得知是黑名单过滤,而且过滤也都很全通过查看wp,得知我们可以使用. .(点空格点)进行绕过利用bp抓包进行更改trim删除文件名末尾的点,得到shell.php.空格,然后进行首尾去空得到shell.php.,黑名单过滤…

Java并发高频面试题

分享50道Java并发高频面试题。 线程池 线程池:一个管理线程的池子。 为什么平时都是使用线程池创建线程,直接new一个线程不好吗? 嗯,手动创建线程有两个缺点 不受控风险频繁创建开销大 为什么不受控? 系统资源有…

【机器学习基础 3】 sklearn库

目录 一、sklearn库简介 二、sklearn库安装 三、关于机器学习 四、sklearn库在机器学习中的应用 1、数据预处理 2、特征提取 3、模型选择与评估 五、常用的sklearn函数 1、数据集划分 2、特征选择 3、特征缩放 4、模型训练 5、模型预测 一、sklearn库简介 Scikit-l…

基于卷积神经网络进行股价预测(Matlab代码实现)

目录 💥1 概述 📚2 运行结果 🎉3 参考文献 👨‍💻4 Matlab代码 💥1 概述 CNN是一种人工神经网络,CNN的结构可以分为3层: 卷积层(Convolutional Layer) - 主要作用是提取特征。 …

C语言基础——流程控制语句

文章目录一、流程控制语句 -- 控制程序的运行过程 9条(一)、条件选择流程控制语句:if语句if……else……语句if……else if……语句switch语句(二)、循环流程控制语句:for语句while语句do while……语句co…

Linux学习之端口、网络协议及查看端口占用情况

端口:设备与外界通讯交流的出口 网络协议:   网络协议是指计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则。 HTTP协议:   HTTP协议(超文本传输协议)是一种网络通信协议,它允许将超…

Mac和Linux安装Mongodb教程

Mac教程 在mongodb的官网中有mac环境的安装配置说明 在mac上安装mongodb有两种方式: (1)使用Homebrew来安装,如果电脑中有Homebrew,安装起来就比较简单,如果没有可以安装一个,以后安装其他的…

【C++学习】多态

🐱作者:一只大喵咪1201 🐱专栏:《C学习》 🔥格言:你只管努力,剩下的交给时间! 多态🍕多态🍟构成多态的条件🍟C11 final override🍟重…

thinkphp+vue水果购物商城网站

需要解决的主要问题: 1、网页编程环境和工具。 2、后台数据库的管理。 3、网站的基本功能建设。 4、对比实际应用中的购物网站的功能和运作流程,完善程序功能。 水果购物商城系统的主要使用者分为管理员;个人中心、用户管理、水果分类管理…

支持RT-Thread最新版本的瑞萨RA2E1开发板终于要大展身手了

支持RT-Thread最新版本的瑞萨RA2E1开发板终于要大展身手了 熟悉RT-Thread和瑞萨MCU的朋友都知道,当前RT-Thread仓库的主线代码是不支持RA2E1这个BSP的。刚好,最近我在联合瑞萨推广一个叫《致敬未来的攻城狮计划》,使用的就是RA2E1开发板&…

ES6技术总结与测试用例

一、介绍 ES6全称是ECMAScript ECMAScript 和 JavaScript 的关系 一个常见的问题是,ECMAScript 和 JavaScript 到底是什么关系? 要讲清楚这个问题,需要回顾历史。1996 年 11 月,JavaScript 的创造者 Netscape 公司&#xff0c…

连接数据库的方法和方式

前景说明: 在我们刚开始使用数据库的时候,发现只能在mysql编辑器里面使用sql语句来完成对数据库的操作,那我们怎么来通过Java来操控数据库呢?这个时候就有了JDBC的出现。 1.什么是JDBC JDBC 指java数据库连接&#xff08…

c#文案语音配图片一键生成视频

高手略过吧,功能太简单,我自己都不好意思。。 这个是我自己的需要,做产品类的短视频,东搞西搞剪辑啊啥的,特别麻烦,所以先搞这个最简版,以后再一步步丰富功能。 需求:几张图片生成…

网络安全行业0-5年规划,零基础如何入门网络渗透?

前言 网络安全这个行业优势有:需求量大,人才紧急,门槛低,工资高。对于许多未曾涉足IT行业「小白」来说,深入地学习网络安全是一件十分困难的事。 关于我 本人是一位90后奇安信驻场网络安全工程师。上海交通大学软件…

Web前端学习:章四 -- JavaScript初级(四)-- BOM

138:Object数据格式简介 1、object对象 JS中独有 的一种数据格式 名字可以随便取,值一般就那几种数据格式 139:BOM - JS跳转页面 BOM Browser Object Model:浏览器对象模型 使用JavaScript控制浏览器交互 控制浏览器里面的内…

【数据结构与算法】队列和栈的相互实现以及循环队列

目录🌔一.用队列实现栈🌙1.题目描述🌙2.思路分析🌙3.代码实现⛈二.用栈实现队列☔1.题目描述☔2.思路分析☔3.代码实现🌈三.实现循环队列🌔一.用队列实现栈 🌙1.题目描述 我们先看一下题目链接…

大数据技术之Hive SQL题库-初级

第一章环境准备1.1 建表语句hive>-- 创建学生表 DROP TABLE IF EXISTS student; create table if not exists student_info(stu_id string COMMENT 学生id,stu_name string COMMENT 学生姓名,birthday string COMMENT 出生日期,sex string COMMENT 性别 ) row format delim…