Hadoop 集群环境搭建

目录

第一部分:系统安装... 3

1:图形化安装... 3

2:选择中文... 3

3:安装选项... 3

4:软件选项... 4

5:安装位置... 4

6:网络配置... 6

7:开始安装... 7

8:创建用户... 7

9:重启系统... 7

10:登录测试... 8

第二部分:初始化设置... 9

1:SSH远程登录... 9

2:yum 源更新... 9

3:安装vim和wget. 11

4:增加test 用户权限... 12

5:修改主机 /tec/hosts 文件... 14

6:配置test 账户免密ssh 登录... 15

7:防火墙设置开机关闭... 17

第三部分:Java jdk 安装配置... 19

1:检查JAVA状态... 19

2:安装JAVA 1.8. 19

3配置环境变量... 20

第四部分:Hadoop 集群安装... 22

1:下载hadoop. 22

2:修改环境变量... 23

3:节点配置... 24

1:主节点安装(server1)... 24

2:备节点安装(server2 server3)... 28

第五部分:Hadoop 状态检查和常用命令... 31

1:网页状态查看... 31

2:控制台命令... 32

1:常用排查故障命令... 32

2:常用基础命令... 32

3:HDFS命令(Hadoop分布式文件系统)... 32

4:MapReduce作业运行命令... 33

5:YARN(Yet Another Resource Negotiator)命令... 33

6:Hadoop集群管理命令... 33

7:Hadoop配置文件管理命令... 33

第一部分:系统安装

大致过程:软件安装选择-------磁盘分区-------IP地址设置-----用户名密码设置

1:图形化安装

这里选择图形化安装。

2:选择中文

选择语言为中文。

3:安装选项

设置对应的安装选项。

4:软件选项

选择最小安装和系统管理工具。

5:安装位置

选择对应的磁盘并手动配置磁盘各分区大小。

点击自动创建

调整 /home 分区和/ 分区的大小,因为Hadoop默认的存储路径是在/目录下,所以/目录需要分配大一点。

分配后的各部分大小。

6:网络配置

手动指定IP地址和主机名。

215三台分别是192.168.1.190/191/192

7:开始安装

8:创建用户

创建root密码和用户,简单密码需要保存2次,密码安全测试环境不涉及,

9:重启系统

重启系统后就完成安装了。

10:登录测试

登录系统检测账号密码是否可以登录:

 su -l root 切换到root账户

测试网络是否正常

ping 223.5.5.5(223.5.5.5是阿里的公共DNS服务器地址

以上完成操作系统的安装。

第二部分:初始化设置

yum update 更新-----vim wget 安装-----sudo 文件增加用户名----/etc/hosts 文件配置3台机器主机名解析---------SSH 免密登录配置------关闭防火墙设置

1:SSH远程登录

使用WindTerm的 窗口水平分割和同步输入进行3台机器同时操作,节省时间。

2:yum 源更新

切换到root 账户,使用 yum update, 中间出现确认选项使用  y 确认。

命令:

yum update

更新完成

3:安装vim和wget

vim是文档编辑工具,wget 是下载HTTP的工具。

命令:(root用户模式下)中间出现确认选项使用  y 确认。

yum install vim

yum install wget

4:增加test 用户权限

vi和vim 基础操作。进入后 i和(insert)按键进入插入模式,esc 进入 模式

:行数    ===去到某一行

:wq      ====保存修改

:wq!     ====强制保存修改

:q       ====退出

:q:      ====强制退出

去往第100行。

新增test 用户权限,test 为之前创建的用户。

:wq   进行保存。

5:修改主机 /tec/hosts 文件

命令:

vim /etc/hosts

新增主机名和ip地址对应关系,ip地址根据实际地址(这里是我的内网地址)

修改完成后直接ping 主机名进行测试,通了代表修改成功。

6:配置test 账户免密ssh 登录

Hadoop 默认在非root账户下运行,所以需要返回 test 账户下,使用exit 退出

命令:

cd ~/.ssh/

进入test用户的ssh目录,提示无当前目录,使用ssh 随便远程一台机器即可产生目标目录,使用no 不保存密钥。然后就可以进入~/.ssh/ 目录了

命令:

ssh-keygen -t rsa

生成密钥,会出现一些提示,这里要连续按多次回车,直到它出现一个如下图所示的框框。

cat id_rsa.pub >> authorized_keys

chmod 600 ./authorized_keys

加入授权和修改文件权限。

分别使用以下命令拷贝ssh 秘钥,按提示输入 yes 和密码。

命令:

ssh-copy-id test@10.10.10.190 

ssh-copy-id test@10.10.10.191 

ssh-copy-id test@10.10.10.192 

这里是3台机器相互拷贝对方的秘钥,因为我这里使用的是同步输入,每台机器都有自身的秘钥,所以这里有个报错,可以不用管,直接输入密码既可以。(以server3为例server1和server2 需要拷贝server3的密钥,这里提示要是否保存,输入yes 保存,然后输入test 用户密码即可,因为server3不用输入密码,所以这里直接进入了$ 输入模式,这个是正常的,其他2台这里也是一样的)

拷贝完成进行测试,分别使用域名和ip地址测试登录其他机器是否需要输入密码。

命令:

ssh  test@server1

ssh  test@10.10.10.190 

我这里是使用的同步输入,每次都进入相同的服务器,这里可以看到每次都成功了。

7:防火墙设置开机关闭

命令:

sudo systemctl stop firewalld

sudo systemctl disable firewalld

接下来重启下服务器。准备安装java。

第三部分:Java jdk 安装配置

JAVA 安装------环境变量设置-----安装完成后检查

1:检查JAVA状态

切换root账户,输入命令java -version查看当前Java版本。(注意-)我这里显示未安装。

命令:

java -version

2:安装JAVA 1.8

Hadoop在1.7版本或1.8版本都可以,这是是安装的1.8版本的。

命令:

sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel

安装完成后检查一下

3配置环境变量

输入vim ~/.bashrc我们在.bashrc中进行环境变量设置。

命令:

vim ~/.bashrc

进入文本后,在 # User specific aliases and functions下面加上如下一行:

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk

这里的JAVA_HOME的值是当前JDK的安装位置。添加上后就:wq保存退出。

输入source ~/.bashrc让刚才的变量设置生效。

命令:

source ~/.bashrc

完成以上操作后,我们输入如下命令进行检查。

命令:

java -version

$JAVA_HOME/bin/java –version

如下图所示,两个命令的输出结果一样,就没有问题。

以上显示java 安装成功。黄色地方报错的原因是  -version 的 -  不对,修改后就可以了运行了。

以上完成了java 的安装。

第四部分:Hadoop 集群安装

1:下载hadoop

(此处一定要切换回 test 账户,否则hadoop 启动不了)

退出到test 账户下,下载hadoop。

命令:

wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

tar -xzvf hadoop-3.3.1.tar.gz

sudo mv hadoop-3.3.1 /usr/local/hadoop

2:修改环境变量

编辑用户的 ~/.bashrc 文件:,在文件末尾添加以下行:

命令:

vim ~/.bashrc

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存并退出,然后执行命令:

source ~/.bashrc

3:节点配置

这里主节点和其他节点配置不一样,所以关闭了同步输入

 1:主节点安装(server1)

1.1:查询java 的程序位置

命令:

sudo update-alternatives --config java

记录当前路径:/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.392.b08-2.el7_9.x86_64/jre

1.2:编辑 Hadoop 环境配置文件:

命令:

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

添加以下内容:  java 路径替换为上面记录的。

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.392.b08-2.el7_9.x86_64/jre

export HADOOP_HOME_WARN_SUPPRESS=true

1.3:配置 Hadoop 核心文件

命令:

vim /usr/local/hadoop/etc/hadoop/core-site.xml

添加以下内容: hdfs://10.10.10.190:9000 替换成对应的地址。

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://10.10.10.190:9000</value>

    </property>

</configuration>

1.4:配置 HDFS 文件系统

命令:

vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

添加以下内容:

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>3</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>/usr/local/hadoop/data/namenode</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>/usr/local/hadoop/data/datanode</value>

    </property>

</configuration>

1.5:配置 YARN 资源管理器

命令:

vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

添加以下内容: 10.10.10.190 替换成对应的地址

<configuration>

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>10.10.10.190</value>

    </property>

</configuration>

1.6:创建 HDFS 目录

命令:

hdfs namenode -format

1.7:启动 Hadoop 服务

命令:

start-dfs.sh

start-yarn.sh

主节点(server1)的hadoop 安装完成。

1.8:查看主节点状态

命名:

hdfs dfsadmin -report

2:备节点安装(server2 server3)

2.1: 从主节点复制 Hadoop 配置到从节点

命令:

scp -r 10.10.10.190:/usr/local/hadoop/etc/hadoop/* /usr/local/hadoop/etc/hadoop/

10.10.10.190修改为对应主节点ip地址

2.2:启动 Hadoop 服务

命令:

start-dfs.sh

start-yarn.sh

2.3:查看主节点状态

命名:

hdfs dfsadmin -report

以上就完成hadoop 3台机器集群环境的安装

第五部分:Hadoop 状态检查和常用命令

1:网页状态查看

YARN ResourceManager Web 用户界面  http://10.10.10.190:8088

Hadoop节点信息                      http://10.10.10.190:9870

2:控制台命令

1:常用排查故障命令

验证一下集群的状态:hdfs dfsadmin -report

列出 HDFS 上的文件:hdfs dfs -ls

本地文件上传到 HDFS:hdfs dfs -put /path/to/local/file /user/test/

获取节点的主机名或 IP 地址:hdfs dfsadmin -report | grep "Name:"

强制 Hadoop 刷新节点列表: hdfs dfsadmin -refreshNodes

2:常用基础命令

3:HDFS命令(Hadoop分布式文件系统)

上传文件到HDFS:

hdfs dfs -put <local-source> <hdfs-destination>

从HDFS下载文件:

hdfs dfs -get <hdfs-source> <local-destination>

列出HDFS目录内容:

hdfs dfs -ls <hdfs-path>

创建HDFS目录:

hdfs dfs -mkdir <hdfs-directory>

删除HDFS文件或目录:

hdfs dfs -rm <hdfs-path>

复制本地文件到HDFS:

hdfs dfs -copyFromLocal <local-source> <hdfs-destination>

4:MapReduce作业运行命令

提交MapReduce作业:

hadoop jar <jar-file> <main-class> <input-path> <output-path>

查看正在运行的MapReduce作业列表:

yarn application -list

5:YARN(Yet Another Resource Negotiator)命令

查看集群节点资源使用情况:

yarn node -list

查看正在运行的应用程序:

yarn application -list

6:Hadoop集群管理命令

启动Hadoop集群:

start-all.sh

停止Hadoop集群:

stop-all.sh

查看Hadoop集群状态:

hadoop dfsadmin -report

7:Hadoop配置文件管理命令

查看Hadoop配置:

hadoop version

查看Hadoop配置文件内容:

cat $HADOOP_HOME/etc/hadoop/core-site.xml

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/260986.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

AI伴侣利用亚马逊云科技机器学习与人工智能服务,加速AI类产品的开发过程

2020年《纽约时报》调查显示&#xff0c;全球有超过1000万人以AI恋人作为伴侣&#xff1b;后浪发布的《2022年轻人未来恋爱白皮书》报告中显示&#xff0c;有近4成年轻人接受与虚拟人恋爱。随着人工智能技术的突破&#xff0c;越来越多年轻群体在AI伴侣软件亲手打造自己的理想恋…

直播电商“去网红化”势在必行,AI数字人打造品牌专属IP

近年来&#xff0c;网红直播带货“翻车”事件频发&#xff0c;给品牌商带来了信任危机和负面口碑的困扰&#xff0c;严重损害了企业的声誉。这证明强大的个人IP,对于吸引粉丝和流量确实能起到巨大的好处,堪称“金牌销售”,但太过强势的个人IP属性也会给企业带来一定风险&#x…

【Spring教程32】SSM框架整合实战:从零开始学习SSM整合之功能模块开发 单元测试示例代码 PostMan接口测试示例

目录 1 功能模块开发1.1 步骤1:创建数据库及表1.2 步骤2:编写模型类1.3 步骤3:编写Dao接口1.4 步骤4:编写Service接口和实现类1.5 步骤5:编写Contorller类 2.单元测试2.1 步骤1:新建测试类2.2 步骤2:注入Service类2.3 步骤3:编写测试方法 3 PostMan测试3.1 新增3.2 修改3.3 删除…

在Linux Docker中部署RStudio Server,实现高效远程访问

&#x1f308;个人主页&#xff1a;聆风吟 &#x1f525;系列专栏&#xff1a;网络奇遇记、Cpolar杂谈 &#x1f516;少年有梦不应止于心动&#xff0c;更要付诸行动。 文章目录 &#x1f4cb;前言一. 安装RStudio Server二. 本地访问三. Linux 安装cpolar四. 配置RStudio serv…

数字化时代的智能支持:亚马逊云科技轻量应用服务器技术领先

轻量应用服务器是一种简化运维、门槛低的弹性服务器&#xff0c;它的"轻"主要体现在几个方面&#xff1a;开箱即用、应用优质、上手简洁、投入划算、运维简便以及稳定可靠。相较于普通的云服务器&#xff0c;轻量应用服务器简化了云服务的操作难度、使用和管理流程&a…

深入理解 Rust 中的容器类型及其应用

Rust 作为一种系统编程语言&#xff0c;提供了丰富的容器类型来处理各种数据结构和算法。这些容器类型不仅支持基本的数据存储和访问&#xff0c;还提供了高效的内存管理和安全性保障。本文将详细介绍 Rust 中的几种主要容器类型&#xff0c;包括它们的用法、特点和适用场景&am…

C/C++ 使用 MySQL API 进行数据库操作

C/C 使用 MySQL API 进行数据库操作 一、前言 随着信息时代的到来&#xff0c;数据库的应用日益广泛&#xff0c;MySQL 作为开源的关系型数据库管理系统&#xff0c;被广大开发者所喜爱。在 C/C 程序中&#xff0c;我们可以通过 MySQL 提供的 API 接口来连接数据库&#xff0…

MSPM0L1306例程学习-ADC部分(3)

MSPM0L1306例程学习系列 使用的TI的官方例程&#xff0c;即SDK里边包含的例程代码。 可以到TI官网下载并且安装SDK: https://www.ti.com.cn/tool/cn/download/MSPM0-SDK/ MCU使用的是MSPM0L1306, 对于ADC部分&#xff0c;有10个例程&#xff1a; 前边讲了4个例程&#xff0c;…

透明加密 | 半透明加密 \ 智能加密的区别

透明加密、半透明加密和智能加密都是数据加密技术&#xff0c;但它们在应用方式、加密效果和使用场景上存在一些区别。 PC端访问地址&#xff1a; www.drhchina.com 透明加密&#xff1a; 透明加密是一种强制加密技术&#xff0c;它通过文件过滤驱动透明加解密技术进行文件加…

Ubuntu 常用命令之 unzip 命令用法介绍

&#x1f4d1;Linux/Ubuntu 常用命令归类整理 unzip命令在Ubuntu系统中用于解压缩.zip文件。它可以解压缩一个或多个.zip文件&#xff0c;并将文件解压缩到当前目录或指定的目录。 unzip命令的一般格式 unzip [选项] zipfile [file...]其中&#xff0c;zipfile是要解压的.zi…

运动器材设备企业官网的效果如何

运动器材在生活中的应用非常广泛&#xff0c;比如健身馆、公司休闲、学校、小区公园等场景中看到&#xff0c;运动器材设施品牌与种类多而齐全&#xff0c;在市场中占据着一定份额&#xff0c;同时该行业设备一般属于低价多量批发及高价零售形式&#xff0c;覆盖的行业较广。 1…

基于WEB的开放性实验室管理系统论文

摘 要 现代经济快节奏发展以及不断完善升级的信息化技术&#xff0c;让传统数据信息的管理升级为软件存储&#xff0c;归纳&#xff0c;集中处理数据信息的管理方式。本开放性实验室管理系统就是在这样的大环境下诞生&#xff0c;其可以帮助管理者在短时间内处理完毕庞大的数据…

独立搭建UI自动化测试框架分享

今天给大家分享一个seleniumtestngmavenant的UI自动化&#xff0c;可以用于功能测试&#xff0c;也可按复杂的业务流程编写测试用例&#xff0c;今天此篇文章不过多讲解如何实现CI/CD&#xff0c;只讲解自己能独立搭建UI框架&#xff0c;如果有其他好的框架也可以联系我&#x…

easyexcel复杂表头导出

easyexcel复杂表头导出 /*** ClassName ColumnWidthStyleStrategy* Description: excel导出列长度**/ public class ExcelWidthStyleStrategy extends AbstractColumnWidthStyleStrategy {private static final int MAX_COLUMN_WIDTH 200;private final Map<Integer, Map…

[每周一更]-(第34期):Go泛型的理解和使用

泛型的实现方式有很多种&#xff0c;Go 1.18版本引入的泛型实现方式是通过type参数实现的。 在之前的Go版本中&#xff0c;由于语言本身的限制&#xff0c;泛型一直是Go语言的一个痛点和缺陷。程序员通常会使用接口和类型断言来实现泛型&#xff0c;但这种方法有时会导致代码难…

哪些行业装配柔性线路板 (FPC)时用到UV胶水?

柔性线路板&#xff08;FPC&#xff09;因其可弯曲和轻薄的特性&#xff0c;在多种行业和应用中都有广泛的应用。以下是一些常见的行业和场景&#xff0c;它们在装配FPC时可能使用UV胶水&#xff1a; 1.电子产品制造&#xff1a; 移动设备&#xff1a;如智能手机、平板电脑和可…

在线短信变量批量编辑工具

1.打开网站 短信编辑工具 2.点击:下载模板 3.编辑后 导入表格 4.点击合成短信 5.选中后复制 ctrlc 初衷&#xff1a; 短信变量批量编辑工具是一种用于批量编辑短信变量的工具。短信变量指的是短信中的可变部分&#xff0c;比如姓名、日期、金额等内容。 使用这个工具&…

python学习笔记--异常捕获

异常场景 numinput("input you number:") n9000 try:resultn/int(num)print({} 除以num 结果为{}.format(n,result)) except ZeroDivisionError as err:print("0不可以作为除数&#xff0c;出现报错{}".format(err)) except ValueError as err:print(&quo…

基于物联网云平台的大棚温湿度监控系统

我国是农业大国&#xff0c;农业生产的质量对我国具有非常重要的意义&#xff0c;受到数字化技术的重点支持&#xff0c;但仍未完全实现智能化&#xff0c;农业生产效率仍有提升空间。 將物联网云服务应用到农业环境的监控中来&#xff0c;可以更高效地管理环境状况。贝尔智能…

Jmeter压力测试简单教程(包括服务器状态监控)

前段时间公司需要对服务器进行压力测试&#xff0c;包括登录前的页面和登录后的页面&#xff0c;主要目的是测试负载均衡的实现效果。不知道是不是因为Jmeter不如loadRunner火爆还是什么&#xff0c;网上关于Jmeter的资料有很多但是大多千篇一律&#xff0c;要么简单弄个页面测…