Hadoop增加新节点环境配置（自用）

完成Hadoop集群增添一个新的节点配置（文中命名为）Hadoop106，没有进行继续为该节点分配身份职能的步骤

1.在VMware中安装CentOS 7

  • 新建虚拟机

1.⾸先我们创建⼀个新的虚拟机，也可以点⽂件-新建虚拟机。

2.选择⾃定义，可以根据要求来定义，如果没有什么特殊要求，可以选择“典型”。

3.硬件兼容性可以选择向下兼容。

4.这⾥我们选择稍后安装操作系统。

5.随后选择要安装的系统类型。

6.建议给虚拟机起个名字，hadoop106，更改存放路径（默认在C盘）。

7.设置虚拟机的内存，根据⾃⼰电脑性能调整，这⾥设置2048MB。

8.⽹络类型选 使⽤⽹络地址转换(NAT) 。

9. I/0类型默认（LSI Logic）

10. 磁盘类型，默认（SCSI）

11. 由于是新虚拟机，所以我们创建新的虚拟磁盘。磁盘的容量由于是动态增长，将虚拟磁盘拆分成多个⽂件，并为将来

安装做准备，根据⾃⼰电脑的性能，建议改成40G。

12. 指定磁盘⽂件，默认。

13. 最后将配置清单列出来，确认，点击完成。

  • 安装centos7

  1. 打开我们上⼀个⽂档建⽴的虚拟机，并双击CD/DVD(IDE)配置光驱，加载CentOS 7系统镜像。

 2.开启“hadoop106”虚拟机。

3. 系统会⾃动启动光驱，进⼊CentOS 7的安装界⾯，此界⾯有1分钟的停留时间，请快速将⿏标点击黑⾊部分。

4. 移动键盘上的上下键，选择图中的 Install CentOS 7 选项。

5. 进⼊系统安装界⾯。

6. 选择安装过程中⽤到的语⾔，必然选简体中⽂

  1. 点击安装位置，选⾃动。或者⼿动（/boot 1g ext4、swap 4g xfs、/ 35g xfs）

8. ⽹络和主机名，我们做如下的更改：

打开以太⽹，这样在启动时就使⽹卡处于激活状态。

主机名改成hadoop106，点应用

IP:192.168.100.106，子网掩码：255.255.255.0，网关：192.168.100.2，DNS：192.168.100.2。

9.然后就点开始安装，在这个期间创建root密码123123，由于我们的密码不符合系统安全要求，所以需要点击两次完成。等进度条⾛完，就可以点重启了。此时CentOS7安装完成并启动，等待我们输⼊账户，密码。

 此时可打开 mobaxterm 新建session 输⼊192.168.100.106 连接

  1. 安装 rsync yum -y install rsync
  2. 安装 nano yum -y install nano
  3. 安装 ntpd yum -y install ntp

  • 配置centos7

1. 关闭防⽕墙，集群⼀般搭建在局域⽹内，公司在外部建⽴专业的防⽕墙，为了⽅便集群之间通信，请关闭集群中各节点的防⽕墙。

·在root⽤户下直接关闭防⽕墙 systemctl stop firewalld.service

· 禁⽌firewall开机启动 systemctl disable firewalld.service

· 关闭SELinux命令（永久关闭） nano /etc/selinux/config 注释掉下面两行：

 #SELINUX=enforcing

 SELINUX=disabled

 #SELINUXTYPE=targeted

重启

  • 查看防⽕墙状态 systemctl status firewalld

2. 在/opt ⽬录下创建 module（程序⽂件夹）、software（安装包） ⽂件夹

 [root@hadoop100 ~]# mkdir /opt/module

 [root@hadoop100 ~]# mkdir /opt/software

2.在Hadoop106节点安装JDK、Hadoop

·安装JDK

1. 将jdk-8u341-linux-x64.tar.gz 利⽤xftp上传到/opt/software

2. 解压jdk到/opt/module⽂件夹

[root@hadoop100 ~]# tar -zxvf /opt/software/jdk-8u341-linux-x64.tar.gz -C /opt/module/

3. nano /etc/profile.d/my_path.sh ⽂件，输⼊

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_341

export PATH=$PATH:$JAVA_HOME/bin

4. source ⼀下 /etc/profile ⽂件，让新的环境变量 PATH ⽣效

[root@hadoop100 ~]# source /etc/profile

5. 检验⼀下成功不

[root@hadoop100 ~]# java -version

·安装Hadoop

1. 将hadoop-3.3.3.tar.gz利⽤xftp上传到/opt/software

2. 解压hadoop到/opt/module⽂件夹

[root@hadoop100 ~]# tar -zxvf /opt/software/hadoop-3.3.3.tar.gz -C /opt/module/

3. 在 /etc/profile.d/my_path.sh ⽂件，加⼊下⾯内容

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.3.3

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

4. source ⼀下 /etc/profile ⽂件，让新的环境变量 PATH ⽣效

[root@hadoop100 ~]# source /etc/profile

5. 测试

[root@hadoop100 ~]# hadoop version

·新增ens37网卡

1. 关闭 hadoop106

2. 右击虚拟机选项卡 -> 配置 -> 添加 -> ⽹络适配器 -> 改成桥接

3. 启动 hadoop106

4. nmcli connection add type ethernet con-name ens37 ifname ens37 autoconnect yes

5. nano /etc/sysconfig/network-scripts/ifcfg-ens37

6. 更改 ifcfg-ens37 ⽂件

TYPE=Ethernet

PROXY_METHOD=none

BROWSER_ONLY=no

BOOTPROTO=static

DEFROUTE=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes

IPV6_AUTOCONF=yes

IPV6_DEFROUTE=yes

IPV6_FAILURE_FATAL=no

IPV6_ADDR_GEN_MODE=stable-privacy

NAME=ens37

UUID=59021522-3de9-492b-9308-b6ab7596aceb

DEVICE=ens37

ONBOOT=yes

IPADDR=10.227.x.1y6

NETMASK=255.255.254.0

注：

x：班级号，7班是2或8班是3

y：组号，1-10

service network start

·Hadoop101配置

1. 打开 hadoop101完全分布式新增hadoop106节点.md 2023-12-18

2. nano /etc/hosts 加⼊

10.227.x.1y6 hadoop106

注：x：班级号，7班是2或8班是3；y：组号，1-10

3. nano $HADOOP_HOME/etc/hadoop/workers 加⼊ hadoop106

4. ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop106

5. rsync -av

$HADOOP_HOME/etc/hadoop root@hadoop106:/opt/module/hadoop-3.3.3/etc/

6. rsync -av /etc/hosts root@hadoop106:/etc

7. 远程到 hadoop106 ssh hadoop106

8. nano /opt/module/hadoop-3.3.3/etc/hadoop/hadoop-env.sh 修改 JAVA_HOME export

JAVA_HOME=/opt/module/jdk1.8.0_341

3.启动集群

1. jpsall.sh 中加⼊ hadoop106 nano ~/bin/jpsall.sh

2.shutdown_all.sh 中加⼊ hadoop106 nano ~/bin/shutdown_all.sh

3. 启动集群 myhadoop.sh start

4. 观察各节点进程的启动情况

4.个人配置中遇到的问题

  • 电脑没有vmnet8虚拟网卡

编辑--->虚拟网络编辑器--->VMnet8--->还原默认设置--->NAT设置--->更改网关IP--->应用确定

设置 ---> 网络和Internet ---> 更改适配器选项 ---> 查看VMnet8，出现并显示已启用

  • Hadoop104、105DataNodeID缺失

通过查找日志，在记录中找到了对应的节点的DataNode，然后我们进入到了103节点的$HADOOP_HOME/data/dfs/data/current/VERSION目录下，复制了103节点的VERSION文件，然后分别进入到了104和105节点的$HADOOP_HOME/data/dfs/data/current下，创建了VERSION文件，将从103中复制的内容粘贴到了新创建的文件中，并根据在日志中查找到的将其对应的DataNodeID，其内容如下(示例)：

storageID=DS-5c72e6f4-c180-44b4-9f26-6abc84327f43

clusterID=CID-fd0aa33f-424c-4212-a725-dd33a3ff126c

cTime=0

datanodeUuid=75809195-27bf-4c87-bb4d-8fb81642e7ae

storageType=DATA_NODE

layoutVersion=-57

其中，storageID会由系统自动生成，更改以后重新启动集群，集群数据接收正常

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/351005.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

网页元素圈选

网页元素圈选

从前面我们已验证配置自动化是可行的，接下来就实现元素选择，当然有了配置化，我们也是可以通过浏览器F12的调试工具去把元素xpath复制出来（ps:反正又不是不能用），但是这不是我们最终目的。 其实圈选效果如下…
阅读更多...
CSS3如何实现从右往左布局的按钮组（固定间距）

CSS3如何实现从右往左布局的按钮组（固定间距）

可以通过下方CSS实现，下面的CSS表示按钮从右往左布局，且间距为10px: .right-btn {position: relative;float: right;margin-right: 10px; }类似这种： 这种： 注意： 不能使用right:10px代替margin-right:10px&#x…
阅读更多...
聚醚醚酮（Polyether Ether Ketone）PEEK主要应用于哪些行业领域？

聚醚醚酮（Polyether Ether Ketone）PEEK主要应用于哪些行业领域？

聚醚醚酮（Polyether Ether Ketone，PEEK）广泛应用于以下行业： 1.航空航天业： PEEK常被用于制造航空航天组件，如飞机零部件、航天器构件，因其轻量化、高强度和耐高温性能。 2.汽车工业&#xff1…
阅读更多...
滑木块H5小游戏

滑木块H5小游戏

欢迎来到程序小院 滑木块 玩法&#xff1a;点击木块横着的只能左右移动&#xff0c;竖着的只能上下移动&#xff0c; 移动到箭头的位置即过关&#xff0c;不同关卡不同的木块摆放&#xff0c;快去滑木块吧^^。开始游戏https://www.ormcc.com/play/gameStart/260 html <can…
阅读更多...
Django项目搭建

Django项目搭建

一、创建项目 在命令行中执行代码 $ django-admin startproject mysitedjango-admin 为内部命令startproject 为参数mysite 项目名 备注 避免使用 Python 或 Django 的内部保留字来命名项目。比如说&#xff0c;避免使用像 django (会和 Django 自己产生冲突)或 test (会和 P…
阅读更多...
深入浅出 diffusion(3)：pytorch 实现 diffusion 中的 U-Net

深入浅出 diffusion(3)：pytorch 实现 diffusion 中的 U-Net

导入python包 import mathimport torch import torch.nn as nn import torch.nn.functional as F silu激活函数 class SiLU(nn.Module): # SiLU激活函数staticmethoddef forward(x):return x * torch.sigmoid(x) 归一化设置 def get_norm(norm, num_channels, num_groups)…
阅读更多...
Java集合-Map接口(key-value)

Java集合-Map接口(key-value)

Map接口的特点&#xff1a;①KV键值对方式存储②Key键唯一&#xff0c;Value允许重复③无序。 Map有四个实现类&#xff1a;1.HashMap类2.LinkedHashMap类3.TreeMap类4.Hashtable类 1.HashMap类&#xff1a; 存储结构&#xff1a;哈希表 数组Node[ ] 链表&#xff08;红黑…
阅读更多...
暴力破解

暴力破解

暴力破解工具使用汇总 1.查看密码加密方式 在线网站&#xff1a;https://cmd5.com/ http://www.158566.com/ https://encode.chahuo.com/kali&#xff1a;hash-identifier2.hydra 用于各种服务的账号密码爆破&#xff1a;FTP/Mysql/SSH/RDP...常用参数 -l name 指定破解登录…
阅读更多...
BUUCTF--xor1

BUUCTF--xor1

这题考察的是亦或。查壳&#xff1a; 无壳。看下IDA的流程&#xff1a; 我们看到将用户输入做一个异或操作&#xff0c;然后和一个变量做比较。如果相同则输出Success。这里的知识点就是两次异或会输出原文。因此我们只需要把global再做一次异或就能解出flag。在IDA中按住shift…
阅读更多...
Excel 2019 for Mac/Win：商务数据分析与处理的终极工具

Excel 2019 for Mac/Win：商务数据分析与处理的终极工具

在当今快节奏的商业环境中&#xff0c;数据分析已经成为一项至关重要的技能。从市场趋势预测到财务报告&#xff0c;再到项目管理&#xff0c;数据无处不在。而作为数据分析的基石&#xff0c;Microsoft Excel 2019 for Mac/Win正是一个强大的工具&#xff0c;帮助用户高效地处…
阅读更多...
鸿蒙HarmonyOS获取GPS精确位置信息

鸿蒙HarmonyOS获取GPS精确位置信息

参考官方文档 #1.初始化时获取经纬度信息 aboutToAppear() {this.getLocation() } async getLocation () {try {const result await geoLocationManager.getCurrentLocation()AlertDialog.show({message: JSON.stringify(result)})}catch (error) {AlertDialog.show({message…
阅读更多...
RabbitMQ 笔记二

RabbitMQ 笔记二

1.Spring 整合RabbitMQ 生产者消费者 创建生产者工程添加依赖配置整合编写代码发送消息 创建消费者工程添加依赖配置整合编写消息监听器 2.创建工程RabbitMQ Producers spring-rabbitmq-producers <?xml version"1.0" encoding"UTF-8"?> <pr…
阅读更多...
[TCP协议]基于TCP协议的字典服务器

[TCP协议]基于TCP协议的字典服务器

目录 1.TCP协议简介: 2.TCP协议在Java中封装的类以及方法 3.字典服务器 3.1服务器代码: 3.2客户端代码: 1.TCP协议简介: TCP协议是一种有连接,面向字节流,全双工,可靠的网络通信协议.它相对于UDP协议来说有以下几点好处: 1.它是可靠传输,相比于UDP协议,传输的数据更加可靠…
阅读更多...
两个近期的计算机领域国际学术会议（软件工程、计算机安全）：欢迎投稿

两个近期的计算机领域国际学术会议（软件工程、计算机安全）：欢迎投稿

近期&#xff0c;受邀担任两个国际学术会议的Special session共同主席及程序委员会成员&#xff08;TPC member&#xff09;&#xff0c;欢迎广大学界同行踊跃投稿&#xff0c;分享最新研究成果。期待这个夏天能够在夏威夷檀香山或者加利福尼亚圣荷西与各位学者深入交流。 SERA…
阅读更多...
深度学习-搭建Colab环境

深度学习-搭建Colab环境

Google Colab(Colaboratory) 是一个免费的云端环境&#xff0c;旨在帮助开发者和研究人员轻松进行机器学习和数据科学工作。它提供了许多优势&#xff0c;使得编写、执行和共享代码变得更加简单和高效。Colab 在云端提供了预配置的环境&#xff0c;可以直接开始编写代码&#x…
阅读更多...
React中使用LazyBuilder实现页面懒加载方法二

React中使用LazyBuilder实现页面懒加载方法二

前言&#xff1a; 在一个表格中&#xff0c;需要展示100条数据&#xff0c;当每条数据里面需要承载的内容很多&#xff0c;需要渲染的元素也很多的时候&#xff0c;容易造成页面加载的速度很慢&#xff0c;不能给用户提供很好的体验时&#xff0c;懒加载是优化页面加载速度的方…
阅读更多...
【网络协议测试】畸形数据包——圣诞树攻击（DOS攻击）

【网络协议测试】畸形数据包——圣诞树攻击（DOS攻击）

简介 TCP所有标志位被设置为1的数据包被称为圣诞树数据包&#xff08;XMas Tree packet&#xff09;&#xff0c;之所以叫这个名是因为这些标志位就像圣诞树上灯一样全部被点亮。 标志位介绍 TCP报文格式&#xff1a; 控制标志&#xff08;Control Bits&#xff09;共6个bi…
阅读更多...
【虚拟机数据恢复】异常断电导致虚拟机无法启动的数据恢复案例

【虚拟机数据恢复】异常断电导致虚拟机无法启动的数据恢复案例

虚拟机数据恢复环境&#xff1a; 某品牌R710服务器MD3200存储&#xff0c;上层是ESXI虚拟机和虚拟机文件&#xff0c;虚拟机中存放有SQL Server数据库。 虚拟机故障&#xff1a; 机房非正常断电导致虚拟机无法启动。服务器管理员检查后发现虚拟机配置文件丢失&#xff0c;所幸…
阅读更多...
JPDA框架和JDWP协议

JPDA框架和JDWP协议

前言 在逆向开发中，一般都需要对目标App进行代码注入。主流的代码注入工具是Frida，这个工具能稳定高效实现java代码hook和native代码hook，不过缺点是需要使用Root设备，而且用js开发，入门门槛较高。最近发现一种非Root环境下对Debug App进行代码注入的方案，原理是利用Jav…
阅读更多...
Unity MonoBehaviour 生成dll

Unity MonoBehaviour 生成dll

dllllllllllllll&#x1f953; &#x1f959;vs创建类库项目&#x1f9c0;添加UnityEngine、UnityEditor引用&#x1f355;添加MonoBehaviour类&#x1f9aa;设置dll生成路径&#x1f37f;生成dll&#x1f354;使用dll中的Mono类 &#x1f959;vs创建类库项目 &#x1f9c0;添加…
阅读更多...
最新文章

Copyright @ 2022~2023