Hadoop-001-本地虚拟机环境搭建

一、安装VMware

官方下载VMware: https://vmware.mdsoft.top/?bd_vid=5754305114651491003

二、下载镜像文件

阿里云镜像仓库: https://mirrors.aliyun.com/centos/
本文档使用 CentOS-7-x86_64-DVD-1810-7.6.iso 搭建虚拟机

三、搭建虚拟机

1、编辑网段

打开VMware,进入虚拟网络编辑器,按照如图所示修改下网段
在这里插入图片描述
在这里插入图片描述

2、新建虚拟机

创建虚拟机hadoop-1,期间可以增加一个用户, root用户名密码和添加的账号密码一致
在这里插入图片描述

3、克隆虚拟机

通过克隆虚拟机再创建2个克隆的时候选择完整克隆,其他都默认下一步即可
在这里插入图片描述

4、调整内存

克隆完成后,有三个相同配置的虚拟机,可以将hadoop-1节点的内存设置大一些, 本案例设置4G,另外两个节点设置2G,到这里三台机器就创建出来了
在这里插入图片描述

5、修改节点IP

修改三台节点为固定IP

# 修改主机名
hostnamectl set-hostname hadoop-1

# 修改IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO="static"  #协议改为static
#添加IP配置
#增加子网掩码
IPADDR="192.168.88.101" 
NETMASK="255.255.255.0" 
GATEWAY="192.168.88.2"
DNS1="192.168.88.2"

# 重启网卡
systemctl stop network
systemctl start network
或者  
systemctl restart network

同样操作启动hadoop-2, hadoop-3,然后
修改hadoop-2主机名为 hadoop-2,设置IP为 192.168.88.102
修改hadoop-3主机名为 hadoop-3,设置IP为 192.168.88.103

hadoop-1节点配置如下图所示
在这里插入图片描述

6、配置主机名映射

本地Windows电脑修改好hosts文件添加以下内容 (C:\Windows\System32\drivers\etc路径下)

192.168.88.101 hadoop-1
192.168.88.102 hadoop-2
192.168.88.103 hadoop-3

三台Linux机器修改hosts文件,每台节点都加下(etc/hosts), 使用SCP命令复制也可以

192.168.88.101 hadoop-1
192.168.88.102 hadoop-2
192.168.88.103 hadoop-3

7、配置SSH免密登录

①在每一台机器都执行下

ssh-keygen -t rsa -b 4096

②在每一台机器都执行下

ssh-copy-id hadoop-1
ssh-copy-id hadoop-2
ssh-copy-id hadoop-3

③执行完后即可实现免密互通
④三个节点都需要创建hadoop用户,并配置免密登录

useradd hadoop
passwd hadoop   
# 密码设置000000

su hadoop
ssh-keygen -t rsa -b 4096
ssh-copy-id hadoop-1
ssh-copy-id hadoop-2
ssh-copy-id hadoop-3

8、配置JDK环境

①下载JDK
jdk-8u421-linux-x64.tar.gz

②上传JDK
上传文件到远程服务器/opt 目录下,可视化工具直接拖拽也可以上传

scp C:\Users\zhangheqiang\Downloads\jdk-8u421-linux-x64.tar.gz root@192.168.88.101:/opt

③解压JDK
进入/opt 目录,解压jdk文件,配置软连接

cd /opt
tar -xzvf jdk-8u421-linux-x64.tar.gz
ln -s opt/jdk1.8.0_421/ /opt/jdk

④配置环境变量

配置环境变量,编辑文件
vim /etc/profile

添加下面内容,保存退出
export JAVA_HOME=/opt/jdk
export PATH=$JAVA_HOME/bin:$PATH

加载配置文件
source etc/profile

验证生效
java -version
javac -version

在这里插入图片描述

⑤到这里配置好了hadoop-1的jdk环境, hadoop-2和hadoop-3也配置下

登录hadoop-1, 使用scp命令将已安装jdk的文件复制到要安装的服务器
cd /opt
scp -r jdk1.8.0_421 hadoop-2:`pwd`/
scp -r jdk1.8.0_421 hadoop-3:`pwd`/

JDK复制后, 两台机器都配置环境变量,这里介绍另一种方式
sudo sh -c "echo 'export JAVA_HOME=/opt/jdk' >> /etc/profile"
sudo sh -c "echo 'export PATH=$JAVA_HOME/bin:$PATH' >> /etc/profile"
source /etc/profile

验证生效
java -version
javac -version

9、关闭防火墙

三台机器都执行下
systemctl stop firewalld
systemctl disable firewalld

10、关闭SELinux

三台机器都执行下
vim /etc/sysconfig/selinux

将SELINUX=enforcing 改为
SELINUX=disabled
保存退出重启虚拟机
init 6   :重启
init 0   :关机

11、修改时区配置自动同步时间

以下操作三台虚拟机都需要执行

安装ntp
yum install -y ntp

更新时区
rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

同步时间
ntpdate -u ntp.aliyun.com

开启ntp服务设置自动重启
systemctl start ntpd
systemctl enable ntpd

或者简单先设置时区的命令(推荐第一种)

列出可用时区
timedatectl list-timezones

设置上海时区
sudo timedatectl set-timezone Asia/Shanghai

查看当前时区
timedatectl

至此前期工作已经配置完成, 建议关机后, 给每台虚拟机打个快照

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/905417.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Oracle视频基础1.1.2练习

1.1.2 需求: 查询oracle组件和粒度大小, select component,granule_size from v$sga_dynamic_components;Oracle SGA 中组件和粒度大小查询详解 在 Oracle 数据库的内存结构中,SGA(System Global Area,系统全局区&am…

动态上下文信念(DCB)

DCB(动态上下文信念)是一个用于累积通过注视获得信息的状态表示组件。它由三个部分组成: Fovea(中央凹):接收来自注视位置周围区域的高分辨率视觉输入。Contextual beliefs(上下文信念&#xf…

双月生日会:温暖相聚,共庆美好时刻

亲爱的华清远见西安中心的家人们: 🎉🎂 在这金风送爽的秋日里,我们迎来了9、10月的生日会。在这个特别的日子里,我们聚集一堂,共同庆祝那些在这两个月份里出生的小伙伴们的生日。🎂 活动现场布…

Junit + Mockito保姆级集成测试实践

一、做好单测,慢即是快 对于单元测试的看法,业界同仁理解多有不同,尤其是在业务变化快速的互联网行业,通常的问题主要有,必须要做吗?做到多少合适?现在没做不也挺好的吗?甚至一些大…

【经典论文阅读11】ESMM模型——基于贝叶斯公式的CVR预估

传统的CVR模型(也就是直接对conversion rate建模的模型)在实际应用中面临两个问题(样本选择偏差与数据稀疏性问题)。为了解决这两个问题,本文提出ESMM模型。该模型巧妙地利用用户行为序列去建模这个问题,从…

使用Git进行版本控制的最佳实践

文章目录 Git简介基本概念仓库(Repository)提交(Commit)分支(Branching) 常用命令初始化仓库添加文件提交修改查看状态克隆仓库分支操作合并分支推送更改 最佳实践使用有意义的提交信息定期推送至远程仓库使…

Vision-Language Models for Vision Tasks: A Survey阅读笔记

虽然LLM的文章还没都看完,但是终究是开始看起来了VLM,首当其冲,当然是做一片文献综述啦。这篇文章比较早了,2024年2月份出的last version。 文章链接:https://arxiv.org/abs/2304.00685 GitHub链接:GitHu…

Oracle OCP认证考试考点详解082系列07

题记: 本系列主要讲解Oracle OCP认证考试考点(题目),适用于19C/21C,跟着学OCP考试必过。 31. 第31题: 题目 解析及答案: 关于 “SET VERIFY ON” 命令,以下哪两个陈述是正确的? A…

网络搜索引擎Shodan(7)完结

声明:学习视频来自b站up主 泷羽sec,如涉及侵权马上删除文章 声明:本文主要用作技术分享,所有内容仅供参考。任何使用或依赖于本文信息所造成的法律后果均与本人无关。请读者自行判断风险,并遵循相关法律法规。 感谢泷…

【C++ 算法进阶】算法提升八

复杂计算 (括号问题相关递归套路 重要) 题目 给定一个字符串str str表示一个公式 公式里面可能有整数 - * / 符号以及左右括号 返回最终计算的结果 题目分析 本题的难点主要在于可能会有很多的括号 而我们直接模拟现实中的算法的话code会难写 要考虑…

​IOT NTN 与 NR NTN​

NTN(Non-Terrestrial Network)),即非地面网络通信,通过不同轨道高度的卫星对地面上的终端提供网络连接的服务。利用卫星通信网络与地面蜂窝网络的融合,可以在不受地形地貌的限制和影响下,连通空、天、地、海…

44-RK3588s调试 camera-engine-rkaiq(rkaiq_3A_server)

在RK3588s平台上调试imx415 camera sensor 过程中,已经识别到了camera sensor ID,并且可以拿到raw图和isp处理后的图像,但是isp处理后的图像偏绿,来看查看后台服务发现rkaiq_3A_server没有运行,然后单独运行rkaiq_3A_s…

【深度学习中的注意力机制10】11种主流注意力机制112个创新研究paper+代码——交叉注意力(Cross-Attention)

【深度学习中的注意力机制10】11种主流注意力机制112个创新研究paper代码——交叉注意力(Cross-Attention) 【深度学习中的注意力机制10】11种主流注意力机制112个创新研究paper代码——交叉注意力(Cross-Attention) 文章目录 【…

springboot响应文件流文件给浏览器+前端下载

springboot响应文件流文件给浏览器前端下载 1.controller: Api(tags {"【样本提取系统】-api"}) RestController("YbtqYstbtqController") RequiredArgsConstructor RequestMapping("/ybtq-ystbtq") Slf4j public class YbtqYstbtqController …

DAY67WEB 攻防-Java 安全JNDIRMILDAP五大不安全组件RCE 执行不出网

知识点: 1、Java安全-RCE执行-5大类函数调用 2、Java安全-JNDI注入-RMI&LDAP&高版本 3、Java安全-不安全组件-Shiro&FastJson&JackJson&XStream&Log4j Java安全-RCE执行-5大类函数调用 Java中代码执行的类: Groovy Runti…

vue下载安装

目录 vue工具前置要求:安装node.js并配置好国内镜像源下载安装 vue 工具 系统:Windows 11 前置要求:安装node.js并配置好国内镜像源 参考:本人写的《node.js下载、安装、设置国内镜像源(永久)&#xff…

书生实战营第四期-第四关 玩转HF/魔搭/魔乐社区

一、任务1:模型下载 使用魔搭社区平台下载文档中提到的模型 1.创建开发机 2.环境配置 # 激活环境 conda activate /root/share/pre_envs/pytorch2.1.2cu12.1# 安装 modelscope pip install modelscope -t /root/env/maas pip install numpy1.26.0 -t /root/env/m…

【Blender】 学习笔记(一)

文章目录 参考概念原点 Origin游标 轴心点坐标操作默认快捷键两个比较好用的功能渲染器元素不可选(防止误选)关联材质 参考 参考b站视频:【Kurt】Blender零基础入门教程 | Blender中文区新手必刷教程(已完结) 概念 模型、灯光、摄像机 原点…

Java中的反射(Reflection)

先上两张图来系统的看一下反射的作用和具体的实现方法 接下来详细说一下反射的步骤以及之中使用的方法: 获取Class对象: 要使用反射,首先需要获得一个Class对象,该对象是反射的入口点。可以通过以下几种方式获取Class对象&#x…

号码认证是什么意思?有什么用?

随着通信环境越来越复杂,各种骚扰、推销电话层出不穷。许多企业为了取信于客户,提高电话的接听率,纷纷选择了申请号码认证,试图通过这种方法来与客户建立更加高效的沟通。 不可否认,这种方法是极其有效的。号码认证可…