文章目录
- 第1部分:虚拟机的准备工作
- 1.1 下载安装虚拟机
- 1.2 修改主机名
- 1.3 主机ip映射
- 安装SSH服务端
- SFTP连接,传输安装包
- 安装Java环境
- 第2部分 Hadoop安装
- 2.1 安装Hadoop
- 第3部分 配置集群环境
- 第4部分 Spark安装
第1部分:虚拟机的准备工作
1.1 下载安装虚拟机
- 这里一开始使用Mac电脑安装虚拟机,使用UTM,但是过程曲折,后期换成了Windows系统,使用VMWare安装虚拟机
1.2 修改主机名
1.3 主机ip映射
-
获取Ubuntu虚拟机网卡编号
- 获取Ubuntu虚拟机的网卡编号:
ifconfig
- 如果提示未安装ifconfig,需下载ifconfig:
sudo apt install ifconfig
- 如果提示未安装net-tools,需下载net-tools :
sudo apt install net-tools
- 如提示需更新:
sudo apt-get update
- 获取Ubuntu虚拟机的网卡编号:
-
修改虚拟机IP地址(可选,建议不要改,动态配置地址)
- 修改虚拟机IP地址
cd /etc/netplan/
(tab)
- 修改成以下代码
- 生效:
sudo netplan apply
sudo netplan try
-
主机ip映射:打开hosts文件,新增三条IP与主机的映射关系:
- 这里的ip地址根据自己ifconfig现实的ip地址更改!!!
- 后期改成了192.168.131.128
-
注意:这里的网关为宿主机IP!!!
安装SSH服务端
- 设置SSH无密码登录
SFTP连接,传输安装包
安装Java环境
- 下载地址:https://repo.huaweicloud.com/java/jdk/8u202-b08/
- mac OS使用arm版本,windows使用x64
- 配置环境变量
- 这里使用Terminal远程登陆了虚拟机,界面发生了变化
第2部分 Hadoop安装
2.1 安装Hadoop
第3部分 配置集群环境
第4部分 Spark安装
数据本2002刘浩
CSDN:小手の冰凉(ID:Lenhart001)