VMware搭建Hadoop集群 for Windows（完整详细，实测可用）

目录

一、VMware 虚拟机安装

（1）虚拟机创建及配置 

（2）创建工作文件夹

二、克隆虚拟机

三、配置虚拟机的网络

（1）虚拟网络配置

（2）配置虚拟机 主机名

（3）配置虚拟机hosts

（4）配置DNS、网关等

（5）reboot 重启虚拟机

四、配置SSH服务

（1）确认ssh进程 

（2）生成秘钥

（3）秘钥拷贝

 五、JDK安装

（1）把JDK安装包传输到虚拟机

（2）把JDK安装包解压到/export/software/

（3）配置JDK环境变量

六、Hadoop安装

（1）安装包上传及解压

（2）Hadoop系统环境配置 

（3）Hadoop集群境配置 

3.1 修改hadoop-env.sh文件

3.2 修改core-site.xml文件

3.3 修改hdfs-site.xml文件

3.4 修改mapred-site.xml文件

3.5 修改yarn-site.xml文件

3.6 修改workers文件

（4）将集群主节点的配置文件分发到其他子节点

（5）格式化文件系统

（6）集群启动

七、浏览器查看Hadoop集群

（1）修改windows下ip映射

（2）防火墙关闭

（3）浏览器查看

一、VMware 虚拟机安装

（1）虚拟机创建及配置 

VMware下载地址

VMware的安装过程比较简单，正常安装就行，打开后是以下页面：

 点击文件==》新建虚拟机

 

 

 

 

 

 

 

 这里选择提前下载好的CentOS镜像：

 点击开启此虚拟机

 Enter回车，开始安装CentOS镜像：

 选择语言：

 设置日期：

 安装位置点进去，点击完成：

 KDUMP禁用：

 网络和主机名：

 

 点击开始安装：

 设置密码

这里要是密码设置过于简单，点击两次完成即可，后面就会继续执行安装了，等待执行完成，店点击重启按钮，重启后进入一下界面：

输入root和密码之后进入虚拟机：

（2）创建工作文件夹

在hadoop01上执行：

mkdir -p /export/data
mkdir -p /export/servers
mkdir -p /export/software

二、克隆虚拟机

搭建集群需要3个虚拟机，hadoop01，hadoop02，hadoop03，已经安装了hadoop01，剩下两个需要用到虚拟机克隆。

先关闭hadoop01虚拟机：

 点击克隆

 

 

 

 

 同理，克隆出hadoop03即可，到这虚拟机创建及配置完毕。

三、配置虚拟机的网络

三台虚拟机的ip和域名映射关系如下：

192.168.121.221 hadoop01

192.168.121.222 hadoop02

192.168.121.223 hadoop03

（1）虚拟网络配置

打开虚拟网络编辑器：

选择VMnet8 

 

 

 

 之后点击确定即可。

 

 

 

（2）配置虚拟机 主机名

在hadoop01虚拟机下执行： 

vi /etc/hostname

vi的insert、save等基本操作参考：https://blog.csdn.net/weixin_41231928

修改后如下： 

 

 同理修改hadoop02和hadoop03的hostname为 hadoop02 和 hadoop03，原因是hadoop02和hadoop03是由hadoop01克隆来的，不修改的话，hostname都是hadoop01，修改后如下：

（3）配置虚拟机hosts

 其实就是配置ip和域名的映射关系。

vi /etc/hosts

上面的命令编辑hosts，在3个虚拟机都里面添加：

192.168.121.221 hadoop01

192.168.121.222 hadoop02

192.168.121.223 hadoop03

（4）配置DNS、网关等

在3个虚拟机下新增以下ip设置

IPADDR="192.168.121.221"

NETMASK="255.255.255.0"

GATEWAY="192.168.121.2"

DNS1="114.114.114.114"

 执行以下命令：

vi  /etc/sysconfig/network-scripts/ifcfg-ens33

（5）reboot 重启虚拟机

 以上所有配置完成后，执行：

reboot

然后可以验证下网络是否通，出现一下说明配置正常：

四、配置SSH服务

SSH服务的作用一般是有两方面：一是便于虚拟机节点之间免密访问，二是传输数据时会有加解密的过程安全性更高。为了这三个节点间免密登录，比如后面在启动hadoop服务时，主节点启动其它从节点，就需要免密去执行。所以3台机器都执行以下流程，这样三台机器就可以使用ssh连接而无需输入密码了。

（1）确认ssh进程 

输入以下命令，查看ssh进程是否存在（默认是开启的）： 

ps -e | grep sshd

如下便是开启状态： 

 

（2）生成秘钥

ssh-keygen -t rsa

执行以上命令，不用输入，按3次回车：

（3）秘钥拷贝

三台机器的秘钥分别生成之后，需要将各自的秘钥拷贝到其他2台机器，3台机器都执行以下命令：

ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03

每条命令中间会有询问，输入“yes”回车，然后输入密码即可：

验证下ssh配置：

在hadoop01下执行ssh hadoop02 和ssh hadoop03，能成功登录：

 五、JDK安装

下载一个linux版本的JDK，这里是 jdk-8u161-linux-x64.tar.gz，3台机器均要执行以下。

（1）把JDK安装包传输到虚拟机

这里我们需要借助ftcp文件传输软件，这里使用的是MobaxTerm，也可以使用别的文件传输软件，WinSCP\PuTTY\Xshell都可以。

MobaxTerm新建SFTP类型的session：

 可以新建一个root用户，把3个虚拟机的密码输入：

 

点击ok后：

 选择jdk文件，拖入之前建好的/export/software文件夹：

 

（2）把JDK安装包解压到/export/software/

执行以下命令：

cd /export/software/
tar -zxvf jdk-8u161-linux-x64.tar.gz -C /export/servers/
cd /export/servers/
mv jdk1.8.0_161/ jdk

（3）配置JDK环境变量

执行：

vim /etc/profile

在文末添加：

export JAVA_HOME=/export/servers/jdk

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

注意：

修改  /etc/profile 文件最后都要执行下 

source /etc/profile

才能是修改生效。最后执行java -version看下是否配置成功。

六、Hadoop安装

 Hadoop下载地址

这里使用的是 hadoop-3.1.3.tar.gz

（1）安装包上传及解压

跟前面JDK一样，先用 mobaxterm 将 hadoop-3.1.3.tar.gz 上传到3台机器的 /export/software:

执行下面解压命令：

tar -zxvf hadoop-3.1.3.tar.gz -C /export/servers/

（2）Hadoop系统环境配置 

执行：

vim /etc/profile

添加一下内容：

export HADOOP_HOME=/export/servers/hadoop-3.1.3

export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

 一样，修改  /etc/profile 文件最后都要执行下 “vim /etc/profile”。

执行验证下：

hadoop version

（3）Hadoop集群境配置 

3.1 修改hadoop-env.sh文件

执行：

cd /export/servers/hadoop-3.1.3/etc/hadoop
vim hadoop-env.sh

找到export JAVA_HOME的位置修改：

export JAVA_HOME=/export/servers/jdk

3.2 修改core-site.xml文件

vim core-site.xml

添加以下配置：

<configuration>

       <property>

              <name>fs.defaultFS</name>

              <value>hdfs://hadoop01:9000</value>

       </property>

       <property>

              <name>hadoop.tmp.dir</name>

              <value>/export/servers/hadoop-3.1.3/tmp</value>

       </property>

</configuration>

 hadoop02、hadoop03修改时，把对于域名修改成hadoop02、hadoop03即可。

3.3 修改hdfs-site.xml文件

vim hdfs-site.xml

添加以下配置：

<configuration>

       <property>

              <name>dfs.replication</name>

              <value>3</value>

       </property>

       <property>

              <name>dfs.namenode.secondary.http-address</name>

              <value>hadoop02:50090</value>

       </property>

</configuration>

dfs.namenode.secondary.http-address这配置在hadoop02、hadoop03不用配置。

3.4 修改mapred-site.xml文件

vim mapred-site.xml

添加以下配置：

<configuration>

<!-- 指定MapReduce运行时框架，这里指定在Yarn上，默认是local -->

       <property>

              <name>mapreduce.framework.name</name>

              <value>yarn</value>

       </property>

</configuration>

3.5 修改yarn-site.xml文件

vi yarn-site.xml

添加以下配置：

<configuration>

   <property>

              <name>yarn.resourcemanager.hostname</name>

              <value>hadoop01</value>

       </property>

       <property>

              <name>yarn.nodemanager.aux-services</name>

              <value>mapreduce_shuffle</value>

       </property>

</configuration>

3.6 修改workers文件

vim workers

删除默认的localhost，添加以下内容： 

hadoop01

hadoop02

hadoop03

 

（4）将集群主节点的配置文件分发到其他子节点

执行：

scp /etc/profile hadoop02:/etc/profile
scp /etc/profile hadoop03:/etc/profile
scp -r /export/ hadoop02:/
scp -r /export/ hadoop03:/

传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令。

（5）格式化文件系统

hdfs namenode -format

这个执行成功以后，不要二次执行。

（6）集群启动

执行：

start-dfs.sh

  

然后3个机器分别 jps 查看进程情况：

在主节点hadoop01上执行

start-yarn.sh

 启动resourcemanager和nodemanager：

 jps：

 

 

 

 如果想要关闭，输入：

stop-dfs.sh

以上hadoop安装配置就完成了。

七、浏览器查看Hadoop集群

（1）修改windows下ip映射

修改 C:\Windows\System32\drivers\etc下的hosts文件，添加以下内容：

192.168.121.221 hadoop01

192.168.121.222 hadoop02

192.168.121.223 hadoop03

 这样就可以通过hadoop01、hadoop02、hadoop03这样的域名来访问了。

（2）防火墙关闭

在3台虚拟机上均执行以下命令（一个是临时关闭，一个是开机就关闭即永久关闭，两个命令执行其中一个即可）：

systemctl stop firewalld.service
systemctl disable firewalld.service

（3）浏览器查看

在浏览器输入：

http://hadoop01:9870

http://hadoop01:8088

即可访问 HDFS 和 Yarn

以上已经将Hadoop集群搭建完毕！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/50471.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

【LLM】大语言模型学习之LLAMA 2：Open Foundation and Fine-Tuned Chat Model

【LLM】大语言模型学习之LLAMA 2：Open Foundation and Fine-Tuned Chat Model

大语言模型学习之LLAMA 2：Open Foundation and Fine-Tuned Chat Model 快速了解预训练预训练模型评估微调有监督微调（SFT）人类反馈的强化学习（RLHF）RLHF结果局限性安全性预训练的安全性安全微调上手就干使用登记代码下载获取模型转换模型搭建Text-Generation-WebUI分发模型…
阅读更多...
高效率，38V最大输入单电感同步升/降稳压器SYV939C

高效率，38V最大输入单电感同步升/降稳压器SYV939C

SYV939是一种高压同步降压-升压转换器。该器件工作在4V至28V的宽输入电压范围内&#xff0c;具有10max平均电感电流能力。四个集成的低RDS(ON)开关最大限度地减少了传导损耗。 SYV939c包括完整的保护功能&#xff0c;如输出过流/短路保护&#xff0c;过压保护和热停机&#xff…
阅读更多...
了解Unity编辑器之组件篇Playables和Rendering（十）

了解Unity编辑器之组件篇Playables和Rendering（十）

Playables 一、Playable Director&#xff1a;是一种用于控制和管理剧情、动画和音频的工具。它作为一个中央控制器&#xff0c;可以管理播放动画剧情、视频剧情和音频剧情&#xff0c;以及它们之间的时间、顺序和交互。 Playable Director组件具有以下作用&#xff1a; 剧情控…
阅读更多...
【MATLAB第61期】基于MATLAB的GMM高斯混合模型回归数据预测

【MATLAB第61期】基于MATLAB的GMM高斯混合模型回归数据预测

【MATLAB第61期】基于MATLAB的GMM高斯混合模型回归数据预测 高斯混合模型GMM广泛应用于数据挖掘、模式识别、机器学习和统计分析。其中&#xff0c;它们的参数通常由最大似然和EM算法确定。关键思想是使用高斯混合模型对数据&#xff08;包括输入和输出&#xff09;的联合概率…
阅读更多...
最新版Onenet云平台HTTP协议接入上传数据

最新版Onenet云平台HTTP协议接入上传数据

2023年最新版Onenet更新后&#xff0c;原来的多协议接口已经找不到&#xff0c;由于需要用HTTP接入&#xff0c;就研究了一下新版Onenet云平台&#xff0c;搞清楚Onenet云平台的鉴权信息&#xff0c;就知道怎么上传数据了&#xff0c;包括后续上传实际数据&#xff0c;其实只需…
阅读更多...
JVM简述

JVM简述

JDK&JRE&JVMJVM运行时内存结构图方法区堆区栈区程序计数器本地方法栈 JVM 的主要组成部分及其作用 JDK&JRE&JVM JVM就是java虚拟机&#xff0c;一台虚拟的机器&#xff0c;用来运行java代码 但并不是只有这台机器就可以的&#xff0c;java程序在运行时需要依赖…
阅读更多...
【图论】kruskal算法

【图论】kruskal算法

一.介绍 Kruskal&#xff08;克鲁斯卡尔&#xff09;算法是一种用于解决最小生成树问题的贪心算法。最小生成树是指在一个连通无向图中&#xff0c;选择一棵包含所有顶点且边权重之和最小的树。 下面是Kruskal算法的基本步骤&#xff1a; 将图中的所有边按照权重从小到大进行…
阅读更多...
C# 快速写入日志 不卡线程 生产者 消费者模式

C# 快速写入日志 不卡线程 生产者 消费者模式

有这样一种场景需求&#xff0c;就是某个方法&#xff0c;对耗时要求很高&#xff0c;但是又要记录日志到数据库便于分析&#xff0c;由于访问数据库基本都要几十毫秒&#xff0c;可在方法里写入BlockingCollection&#xff0c;由另外的线程写入数据库。 可以看到&#xff0c;在…
阅读更多...
2023河南萌新联赛第（三）场：郑州大学 A - 发工资咯

2023河南萌新联赛第（三）场：郑州大学 A - 发工资咯

2023河南萌新联赛第&#xff08;三&#xff09;场&#xff1a;郑州大学 A - 发工资咯 时间限制&#xff1a;C/C 2秒&#xff0c;其他语言4秒 空间限制&#xff1a;C/C 262144K&#xff0c;其他语言524288K 64bit IO Format: %lld 题目描述 一个公司有n个人&#xff0c;每个月都…
阅读更多...
TCP如何保证服务的可靠性

TCP如何保证服务的可靠性

TCP如何保证服务的可靠性 确认应答超时重传流量控制滑动窗口机制概述发送窗口和接收窗口的工作原理几种滑动窗口协议1比特滑动窗口协议&#xff08;停等协议&#xff09;后退n协议选择重传协议 采用滑动窗口的问题&#xff08;死锁可能&#xff0c;糊涂窗口综合征&#xff09;死…
阅读更多...
iostat工具使用

iostat工具使用

文章目录 iostat命令简介iostat命令参数 iostat输出信息CPU利用率输出信息磁盘利用率输出信息更详细的磁盘利用率输出信息 iostat命令使用示例iostat -kdx 1 iostat数据来源相关参考 iostat命令简介 iostat工具可用于CPU使用统计信息和设备的输入输出统计信息。iostat能支持显…
阅读更多...
数据结构—数组和广义表

数据结构—数组和广义表

4.2数组 数组&#xff1a;按一定格式排列起来的&#xff0c;具有相同类型的数据元素的集合。 **一维数组&#xff1a;**若线性表中的数据元素为非结果的简单元素&#xff0c;则称为一维数组。 **一维数组的逻辑结构&#xff1a;**线性结构&#xff0c;定长的线性表。 **声明…
阅读更多...
Vue通过指令 命令将打包好的dist静态文件上传到腾讯云存储桶 （保存原有存储目录结构）

Vue通过指令 命令将打包好的dist静态文件上传到腾讯云存储桶 （保存原有存储目录结构）

1、在项目根目录创建uploadToCOS.js文件 （建议起简单的名字 方便以后上传输入命令方便） 2、uploadToCOS.js文件代码编写 const path = require(path); const fs = require(fs); const COS = require(cos-nodejs-sdk-v5);// 配置腾讯云COS参数 const cos = new COS({SecretI…
阅读更多...
基于Docker-compose创建LNMP环境并运行Wordpress网站平台

基于Docker-compose创建LNMP环境并运行Wordpress网站平台

基于Docker-compose创建LNMP环境并运行Wordpress网站平台 1.Docker-Compose概述2.YAML文件格式及编写注意事项3.Docker-Compose配置常用字段4.Docker Compose常用命令5.使用Docker-compose创建LNMP环境&#xff0c;并运行Wordpress网站平台1. Docker Compose 环境安装下载安装查…
阅读更多...
《入门级-Cocos2d 4.0塔防游戏开发》---第二课：游戏加载界面开发

《入门级-Cocos2d 4.0塔防游戏开发》---第二课：游戏加载界面开发

目录 一、开发环境介绍 二、开发内容 2.1 修改窗口的大小。 2.2 添加加载场景相关代码 2.3 添加资源 三、显示效果 四、知识点 4.1 Sprite 4.2 定时器 一、开发环境介绍 操作系统&#xff1a;UOS1060专业版本。 cocos2dx:版本 环境搭建教程&#xff1a; 统信UOS下配…
阅读更多...
cURL error 1: Protocol “https“ not supported or disabled in libcurl

cURL error 1: Protocol “https“ not supported or disabled in libcurl

1、php项目composer update报错 2、curl -V检查 发现curl已经支持了https了 3、php版本检查 4、php插件检查 插件也已经含有openssl组件了 5、phpinfo检查 curl是否开启ssl 定位到问题所在&#xff0c;php7.4的 curl扩展不支持 https 需要重装 php7.4的curl扩展 6、curl下载 下…
阅读更多...
大学生活题解

大学生活题解

样例输入&#xff1a; 3 .xA ... Bx.样例输出&#xff1a; 6思路分析&#xff1a; 这道题只需要在正常的广搜模板上多维护一个— —方向&#xff0c;如果当前改变方向&#xff0c;就坐标不变&#xff0c;方向变&#xff0c;步数加一&#xff1b;否则坐标变&#xff0c;方向不…
阅读更多...
微信小程序radio单选按钮选中与取消

微信小程序radio单选按钮选中与取消

wxml <view bindtapcheckedTap><radio checked"{{checked}}">设为默认</radio> </view> wxss <style lang"less" > radio .wx-radio-input {border-radius: 50%; /* 圆角 */width: 24rpx;border: 2rpx solid #5e5e5f;hei…
阅读更多...
centos7安装tomcat

centos7安装tomcat

安装tomcat 必须依赖 JDK 环境&#xff0c;一定要提前装好JDK保证可以使用 一、下载安装包 到官网下载 上传到linux 服务器 二、安装tomcat 创建tomcat 文件夹 mkdir -p /usr/local/tomcat设置文件夹权限 chmod 757 tomcat将安装包上传至 新建文件夹 解压安装包 tar zx…
阅读更多...
解读 Zebec Protocol 发布的最新路线图，向 Web2 世界跨越的野望

解读 Zebec Protocol 发布的最新路线图，向 Web2 世界跨越的野望

近期&#xff0c;流支付协议 Zebec Protocol 发布了最新的路线图&#xff0c;揭示了生态在未来一年的全新发展规划。目前&#xff0c; Zebec Protocol 生态打造了一套全新的产品矩阵&#xff0c;包括模块化 Layer3 链 Nautilus Chain 、流支付应用 Zebec APP 以及薪酬管理协议 …
阅读更多...
最新文章

Copyright @ 2022~2023