Hadoop Single Node Cluster的安装

Hadoop Single Node Cluster的安装

  • 安装JDK
    • 查看java -version
    • 更新本地软件包
    • 安装JDK
    • 查看java安装位置
  • 设置SSH无密码登录
  • 安装hadoop
    • 下载
    • 安装
    • 设置hadoop环境变量
    • 修改hadoop配置设置文件
    • 设置core-site.xml
    • 设置YARN-site.xml
    • 设置mapred-site.xml
    • 设置HDFS分布式文件系统
      • 创建并格式化HDFS目录
  • 启动hadoop
    • 打开hadoop resource-manager web页面

安装JDK

hadoop是基于java开发的，所以要先安装java环境

查看java -version

打开terminal执行命令java -version，如果显示如下图所示，说明没有安装java。

在这里插入图片描述

更新本地软件包

要安装Java 先更新一下本地软件包，使用如下命令：

sudo apt update

在这里插入图片描述

安装JDK

执行以下命令安装 OpenJDK:

sudo apt install default-jre

安装完成后，验证一下安装 JDK 的版本:

java -version

在这里插入图片描述

sudo apt-get install default-jdk

在这里插入图片描述

查看java安装位置

update-alternatives --display java

在这里插入图片描述

其中/usr/lib/jvm/java-11-openjdk-amd64/bin/java就是java的路径

设置SSH无密码登录

Hadoop是有很多台服务器组成的，当我们启动hadoop系统时，namenode必须与datanode连接并管理这些节点（datanode）。此时系统会要求用户输入密码。为了让系统顺利运行而不手动输入密码，需要将SSH设置成无密码登录。注意，无密码登录并非不需要密码，而是事先交换SSH Key(密钥)来进行身份认证。
在这里插入图片描述

安装ssh

sudo apt-get install ssh

安装rsync

sudo apt-get install rsync

产生ssh key（密钥）进行后续身份验证

ssh-keygen -t dsa -P '' -f  ~/.ssh/id_dsa

在这里插入图片描述

查看产生的SSH Key(密钥)

ll ~/.ssh

在这里插入图片描述

其中id_dsa和id_dsa.pub为产生的密钥文件

将产生的公钥加入许可证文件

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

重定向符号“>>”会将命令运行产生后的标准输出（stdout）重定向附加在该文件之后，当上述命令运行后，会将/.ssh/id_dsa.pub附加到/.ssh/authorized_keys许可证文件之后。

安装hadoop

下载

来到下载页面
https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/

在这里插入图片描述

选中hadoop-2.6.4.tar.gz

右键，选复制链接

在这里插入图片描述

复制后的链接如下：

https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

使用wget执行下载命令

wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

其实更好的方法是直接下载下来然后传到虚拟机上

安装

解压压缩包

sudo tar -zxvf hadoop-2.6.4.tar.gz

移动文件夹

将解压出的文件夹移动到 /usr/local/hadoop目录

sudo mv hadoop-2.6.4 /usr/local/hadoop

查看hadoop安装目录

ll /usr/local/hadoop

在这里插入图片描述

常用目录说明

目录说明
bin/各项运行文件，包括hadoop、hdfs、yarn等
sbin/各项shell运行文件，包括start-all.sh、stop-all.sh
etc/etc/hadoop子目录包括hadoop配置文件，例如hadoop-env.sh、core-site.xml、yarn-site.xml、mapred-site.xml、hdfs-site.xml
lib/hadoop函数库
logs/系统日志，可以查看系统运行情况，运行有问题时可以从日志找出错误原因

设置hadoop环境变量

编辑 ~/.bashrc

sudo gedit ~/.bashrc

打开结果如下

在这里插入图片描述

在后边加入输入以下内容然后保存

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

其含义为

设置JDK安装路径（需要读者根据自己安装的java版本自行调整）

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

Hadoop的安装路径

export HADOOP_HOME=/usr/local/hadoop

设置PATH

export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

设置HADOOP其他环境变量

export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME

链接库相关设置

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

使得~/.bashrc设置生效

source ~/.bashrc

修改hadoop配置设置文件

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

打开如下

在这里插入图片描述

原本文件中的JAVA_HOME的设置为

export JAVA_HOME=${JAVA_HOME}

修改为

export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64

保存并关闭

设置core-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

打开后如下

在这里插入图片描述

添加以下配置

<configuration>
<property>
	<name>fs.default.name</name>
	<value>hdfs://localhost:9000</value>
</property>
</configuration>

修改后结果如下

在这里插入图片描述

设置YARN-site.xml

输入以下命令

sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

在这里插入图片描述

输入以下配置

<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
	<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

添加结果如下

在这里插入图片描述

设置mapred-site.xml

Mapred-site.xml用于设置监控Map与Reduce程序的JobTracker任务分配情况以及TaskTraker任务的运行情况。Hadoop提供了设置的模板文件，可以自行复制修改

sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

编辑mapred-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml

打开后的结果如下：

在这里插入图片描述

添加以下配置

<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

添加后的结果如下：

在这里插入图片描述

设置HDFS分布式文件系统

打开hdfs-site.xml

sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

插入以下内容

<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
</property>
<property>
	<name>dfs.datanode.data.dir</name>
	<value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value>
</property>

默认的blocks副本备份数量是每一个文件在其他node的备份数量，默认值为3。编辑完成后，先保存，再关闭gedit。

创建并格式化HDFS目录

创建namenode数据存储目录

sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode

创建datanode数据存储目录

sudo mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode

将hadoop目录的所有者更换为当前用户名
我这里用户名是aixing，大家可以自行更换

sudo chown aixing:aixing -R /usr/local/hadoop

格式化HDFS

如果HDFS已有数据，执行会删除掉所有数据

hadoop namenode -format

在这里插入图片描述

启动hadoop

启动HDFS

start-dfs.sh

启动hadoop mapreduce 框架yarn

start-yarn.sh

同时启动HDFS、yarn

start-all.sh

查看namenode、datanode进程是否启动
在这里插入图片描述

其中ResourceManager和NodeManager是Yarn相关进程，NameNode、SecondNameNode、DataNode是HDFS相关进程

打开hadoop resource-manager web页面

打开Hadoop ResourceManager web
点开浏览器，访问链接:http://localhost:8088/
打开后页面如下：

在这里插入图片描述

点击Nodes就会显示当前所有节点，不过我们安装的是single Node Cluster，所有只有一个节点
在这里插入图片描述

Namenode HDFS Web 界面

打开浏览器访问：http://localhost:50070/
查看Live Nodes，可以看到启动了1个节点

在这里插入图片描述

查看DataNode

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/255639.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

新增工具箱管理功能、重构网站证书管理功能，1Panel开源面板v1.9.0发布

新增工具箱管理功能、重构网站证书管理功能，1Panel开源面板v1.9.0发布

2023年12月18日&#xff0c;现代化、开源的Linux服务器运维管理面板1Panel正式发布v1.9.0版本。 在这一版本中&#xff0c;1Panel引入了新的工具箱管理功能&#xff0c;包含Swap分区管理、Fail2Ban管理等功能。此外&#xff0c;1Panel针对网站证书管理功能进行了全面重构&…
阅读更多...
小程序自定义轮播图样式

小程序自定义轮播图样式

小程序自定义轮播图样式以下是各案例&#xff0c;仅供大家参考。 效果展示&#xff1a; index.wxml代码&#xff1a; <view><!-- 轮播 --><view><swiper indicator-dots"{{indicatorDots}}"autoplay"{{autoplay}}" interval"{{…
阅读更多...
初识迭代器（Iterator）——迭代器模式——迭代加深(后续更新...)

初识迭代器（Iterator）——迭代器模式——迭代加深(后续更新...)

学习网页&#xff1a; Welcome to Python.orghttps://www.python.org/ 迭代器&#xff08;Iterator&#xff09; 迭代器是一个非常有用的Python特性&#xff0c;它允许我们遍历一个容器&#xff08;如列表、元组、字典、集合等&#xff09;的元素。迭代器提供了一种方法&…
阅读更多...
OpenHarmony应用开发环境搭建指南

OpenHarmony应用开发环境搭建指南

OpenHarmony的应用开发主要是基于Deveco Studio&#xff08;目前只支持Windows及Mac平台&#xff09;搭配相应的SDK进行&#xff0c;现对开发环境的搭建进行说明。 1:Deveco下载安装 下载对应平台的安装包即可。接下来以Windows平台为例&#xff0c;进行开发环境的搭建。 下载…
阅读更多...
我做了一个在手机灵动岛锁屏看实时网速/步数/下班倒计时/跑步距离/照片/待办/倒计时/手机使用次数/帧率...的软件

我做了一个在手机灵动岛锁屏看实时网速/步数/下班倒计时/跑步距离/照片/待办/倒计时/手机使用次数/帧率...的软件

我做了一个在手机灵动岛&锁屏看实时网速/步数/下班倒计时/跑步距离/照片/待办/倒计时/手机使用次数/帧率…的软件 Island Widgets 的作用&#xff1a; 提醒您 &#xff1a; 准时下班每天运动陪伴家人保持体重放下手机每日待办当前网速手机使用强度实时热搜现在天气… 初…
阅读更多...
小米与魅族：竞争中的创新之路

小米与魅族：竞争中的创新之路

导言 小米与魅族作为中国智能手机领域的两大明星企业&#xff0c;一直在激烈的竞争中谋求创新突破。本文将深入探讨这两家公司在产品、市场和创新方面的竞争与合作&#xff0c;揭示它们在快速发展的移动科技行业中的发展轨迹。 1. 产品创新与竞争 小米的性价比…
阅读更多...
Redis查看当前连接情况client list

Redis查看当前连接情况client list

Redis Client List 命令用于返回所有连接到服务器的客户端信息和统计数据。 redis 127.0.0.1:6379> CLIENT LIST 返回值 addr &#xff1a; 客户端的地址和端口 fd &#xff1a; 套接字所使用的文件描述符 age &#xff1a; 以秒计算的已连接时长 idle &#xff1a; 以秒计算…
阅读更多...
mysql 21day yum安装数据库

mysql 21day yum安装数据库

目录 mysql下载官网下载mysql 源进入mysql 官网 yum安装mysql先安装mysql 源检查源修改安装版本方法一方法二 安装命令 mysql使用启动&开机启动查看密码修改密码登录数据库 mysql下载官网 https://dev.mysql.com/doc/ 链接: 点击进入mysql官网 下载mysql 源 进入mysql 官…
阅读更多...
智能优化算法应用：基于吉萨金字塔建造算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用：基于吉萨金字塔建造算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用&#xff1a;基于吉萨金字塔建造算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用&#xff1a;基于吉萨金字塔建造算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.吉萨金字塔建造算法4.实验参…
阅读更多...
app上架-.您的应用在首次打开或运行中，未见使用权限对应的相关功能或服务时，提前向用户弹窗申请开启【已安装应用列表】权限，不符合华为应用市场审核标准。

app上架-.您的应用在首次打开或运行中，未见使用权限对应的相关功能或服务时，提前向用户弹窗申请开启【已安装应用列表】权限，不符合华为应用市场审核标准。

上架提示 您的应用在首次打开或运行中&#xff0c;未见使用权限对应的相关功能或服务时&#xff0c;提前向用户弹窗申请开启【已安装应用列表】权限&#xff0c;不符合华为应用市场审核标准。 测试步骤&#xff1a;首次打开APP&#xff0c;在首页页面&#xff0c;非服务所必须…
阅读更多...
任务十六：主备备份型防火墙双机热备

任务十六：主备备份型防火墙双机热备

目录 目的 器材 拓扑 步骤 一、基本配置 配置各路由器接口的IP地址【省略】 1、配置BGP协议实现Internet路由器之间互联 2、防火墙FW1和FW2接口IP配置与区域划分 3、配置区域间转发策略 4、配置NAPT和默认路由 5、配置VRRP组&#xff0c;并加入Active/standby VGMP管…
阅读更多...
Axure的交互与情形，事件，动作

Axure的交互与情形，事件，动作

交互样式 交互样式是指当用户与原型进行交互时&#xff0c;元素所呈现出的视觉效果。在Axure中&#xff0c;可以通过设置交互样式来调整元素在交互过程中的外观&#xff0c;例如改变颜色、大小、位置等。 交互事件 交互事件是指在用户与原型进行交互时触发的动作。在Axure中&…
阅读更多...
tensorflow入门

tensorflow入门

一、怎样入手TensorFlow TensorFlow是一个用于机器学习和深度学习的开源框架&#xff0c;它提供了一种灵活的方式来构建和训练神经网络模型。以下是一些TensorFlow框架入门的建议&#xff1a; 学习Python语言&#xff1a;TensorFlow主要使用Python语言进行开发&#xff0c;因此…
阅读更多...
Android Studio设置android:background 属性背景颜色

Android Studio设置android:background 属性背景颜色

除了默认的颜色之外都要自己添加。 添加颜色的操作步骤&#xff1a; 打开res文件夹&#xff0c;找values&#xff0c;里面有个colors.xml的文件。然后在里面定义一些颜色。 完成
阅读更多...
基于PaddleOCR一键搭建文字识别和身份证识别web api接口

基于PaddleOCR一键搭建文字识别和身份证识别web api接口

前言 通过这篇文章【基于PaddleOCR的DBNet神经网络实现全网最快最准的身份证识别模型】开发的身份证识别模型&#xff0c;还无法进行部署应用&#xff0c;这篇文章就已经开发好的代码如何部署&#xff0c;并如何通过api的接口进行访问进行讲解。 项目部署 以windows系统为例&…
阅读更多...
探索人工智能中的语言模型：原理、应用与未来发展

探索人工智能中的语言模型：原理、应用与未来发展

导言 语言模型在人工智能领域中扮演着重要的角色&#xff0c;它不仅是自然语言处理的基础&#xff0c;也是许多智能系统的核心。本文将深入研究语言模型的原理、广泛应用以及未来发展趋势。 1. 语言模型的原理 统计语言模型&#xff1a; 基于概率统计的传统语言模型&…
阅读更多...
源码编译 METIS 以及 GKlib 在Linux ubuntu上

源码编译 METIS 以及 GKlib 在Linux ubuntu上

1. GKlib 构建 $ git clone --recursive gitgithub.com:Kleenelan/GKlib.git $ cd GKlib/ $ make config ccgcc openmpset $ make $ make install源码构建了 GKlib 的 openmp 版本&#xff0c;以便充分使用多核的算力&#xff1b; make config ccgcc openmpset 的效果图&#…
阅读更多...
网神防火墙后台用户敏感信息泄露漏洞复现

网神防火墙后台用户敏感信息泄露漏洞复现

简介 网神防火墙是一款由中国知名网络安全公司启明星辰开发的防火墙产品。它提供了全面的网络安全防护功能，旨在保护企业网络免受各种网络威胁和攻击。 该产品存在用户账号信息泄露漏洞，通过构造特定数据包，获取防火墙管理员登录的账号密码。 漏洞复现 FOFA语法： body=&…
阅读更多...
Postman使用总结-断言

Postman使用总结-断言

让 Postman 工具 代替 人工 自动判断 预期结果 和 实际结果 是否一致 断言代码 书写在 Tests 标签页中。 查看断言结果 Test Results 标签页
阅读更多...
部署promethues采集kubelet数据报错：server returned HTTP status 403 Forbidden

部署promethues采集kubelet数据报错：server returned HTTP status 403 Forbidden

背景 笔者尝试部署手动部署promethues去采集kubelet的node节点数据信息时报错 笔者的promethus的配置文件和promthues的clusterrole配置如下所示&#xff1a; apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata:name: prometheus rules: - apiGroups: […
阅读更多...
最新文章

Copyright @ 2022~2023