Linux环境安装Hadoop

(1)下载Hadoop安装包并上传

下载Hadoop安装包到本地,并导入到Linux服务器的/opt/software路径下

(2)解压安装包

解压安装文件并放到/opt/module下面

[root@hadoop100  ~]$ cd /opt/software
[root@hadoop100 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

(3)将Hadoop添加到环境变量

 [root@hadoop100  ~]$ vim /etc/profile.d/hadoop_env.sh

在hadoop_env.sh文件末尾添加如下内容:

 #HADOOP_HOME
 export HADOOP_HOME=/opt/module/hadoop-3.1.3
 export PATH=$PATH:$HADOOP_HOME/bin
 export PATH=$PATH:$HADOOP_HOME/sbin

保存并退出:  :wq

(4)让修改文件生效

  [root@hadoop100 ~]$ source /etc/profile

如果命令还不能让hadoop生效,则重启虚拟机

[root@hadoop100 ~]$ sudo reboot

(5)测试是否安装成功

  [root@hadoop100 ~]$  hadoop version

(6)查看Hadoop目录结构

以下是Hadoop文件中重要的目录:

- bin 目录:存放对 Hadoop 相关服务(hdfs,yarn,mapred)进行操作的脚本
- etc 目录:Hadoop 的配置文件目录,存放 Hadoop 的配置文件
- lib 目录:存放 Hadoop 的本地库(对数据进行压缩解压缩功能)
- sbin 目录:存放启动或停止 Hadoop 相关服务的脚本
- share 目录:存放 Hadoop 的依赖 jar 包、文档、和官方案例

(7)扩展:本地测试官方案例WordCount

WordCount是一个统计文件内单词数量的程序。可以理解为MapReduce的helloword。

1)创建测试文件

 [root@hadoop100 ~]$ cd /opt/module/hadoop-3.1.3
 [root@hadoop100 hadoop-3.1.3]$  mkdir wcinput
 [root@hadoop100 hadoop-3.1.3]$  cd wcinput
 [root@hadoop100 wcinput]$   vim word.txt

在文件中输入以下内容:

hadoop yarn
hadoop mapreduce
test
test

保存并退出:  :wq

 2)执行程序

回到Hadoop目录/opt/module/hadoop-3.1.3,执行程序

  [root@hadoop100 wcinput]$   cd ../
  [root@hadoop100 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

命令结构:

hadoop jar  Jar包的路径  Jar包的主类 传递给主类的参数地址  由主类执行后输出的结果地址

3)查看结果

[root@hadoop100 hadoop-3.1.3]$ cat wcoutput/part-r-00000

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/262576.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

基于SpringBoot的教学管理app的开发-计算机毕业设计源码65449

摘 要 信息化社会内需要与之针对性的信息获取途径,但是途径的扩展基本上为人们所努力的方向,由于站在的角度存在偏差,人们经常能够获得不同类型信息,这也是技术最为难以攻克的课题。针对教学管理等问题,对其进行研究分…

如何在本地安装Flask并将其web界面发布到公网上远程访问协同开发

目录 前言 1. 安装部署Flask 2. 安装Cpolar内网穿透 3. 配置Flask的web界面公网访问地址 4. 公网远程访问Flask的web界面 前言 本篇文章讲解如何在本地安装Flask,以及如何将其web界面发布到公网上并进行远程访问。 Flask是目前十分流行的web框架,…

电气 接近开关

npn:和负载(控制器或者继电器)共阳极,低电平响应 pnp:和负载共阴极,高电平响应

MyBatisX生成时的选项的含义

一般,annotation和template勾选MyBatis-Plus 3 options中各选项的作用 comment:实体类各属性的注释(数据库中有的话)以及生成TableId注解,同时会给serialVersionUID属性加上TableField(exist false) toString/hashCo…

OpenSergo使用详解

简介 OpenSergo是一个基于微服务治理的标准和生态,覆盖了服务元信息、流量治理、服务容错、数据库/缓存治理、服务注册发现、配置治理等十几个关键领域,覆盖了完整的微服务生命周期(从开发态到测试态,到发布态,再到运…

不用翻箱倒柜找数据线,电脑投屏到另一台电脑,无线、远程投屏方法!

对于职场人士来说,电脑投屏电脑绝对是必不可少的工具,稳定高效的投屏开会是职场人渴望的技能,总比天天抱着笔记本走来走去,还要去翻箱倒柜的找数据线要强。如何实现电脑间的稳定投屏,AirDroid Cast提供了一个好思路。 …

ssm基于vue.js的连锁干洗店后台管理系统论文

摘 要 使用旧方法对连锁干洗店后台管理信息进行系统化管理已经不再让人们信赖了,把现在的网络信息技术运用在连锁干洗店后台管理信息的管理上面可以解决许多信息管理上面的难题,比如处理数据时间很长,数据存在错误不能及时纠正等问题。 这次…

最小操作次数问题

思路如下: 1.其他颜色变成红色球的情况:蓝色变红色需要2步 所以"2 绿色变红色需要1步 所以 绿色 2.其他颜色变成蓝色球的情况:绿色变蓝色需要2步 红色变蓝色需要1步 3.其他颜色变成绿色球的情况 红色变绿色需要2步 蓝色变绿色需要1步 代码如下&#xff1a…

免费分享一套Springboot+Vue前后端分离的个人博客系统,挺漂亮的

大家好,我是java1234_小锋老师,看到一个不错的SpringbootVue前后端分离的个人博客系统,分享下哈。 项目视频演示 【免费】SpringbootVue个人博客系统 毕业设计 Java毕业设计_哔哩哔哩_bilibili【免费】SpringbootVue个人博客系统 毕业设计 …

Unity DOTS物理引擎的核心分析与详解

最近DOTS发布了正式的版本,同时基于DOTS的理念实现了一套高性能的物理引擎,今天我们来给大家分享和介绍一下这个物理引擎的使用。 Unity.Physics的设计哲学 Unity.Physics是基于DOTS设计思想的一个高性能C#物理引擎的实现, 包含了物理刚体的迭代计算与碰撞检测等查…

什么专业适合学网络安全?

1.选什么专业 想当黑客要学什么专业?首先要明白一个点,当黑客你只需要会攻击手段就可以了,但绝不是只会使用一些工具而已,不然那就是“脚本小子”。 不严格来说,计算机所有的专业都可以当黑客,因为基础的东…

《Nature》预测 2024 科技大事:GPT-5预计明年发布等

《Nature》杂志近日盘点了 2024 年值得关注的科学事件,包括 GPT-5 与新一代 AlphaFold、超算 Jupiter、探索月球任务、生产「超级蚊子」、朝向星辰大海、试验下一代新冠疫苗、照亮暗物质、意识之辩第二回合、应对气候变化。 今年以来,以 ChatGPT 为代表…

【飞凌 OK113i-C 全志T113-i开发板】一些有用的常用的命令测试

一些有用的常用的命令测试 一、系统信息查询 可以查询板子的内核信息、CPU处理器信息、环境变量等 二、CPU频率 从上面的系统信息查询到,这是一颗具有两个ARMv7结构A7内核的处理器,主频最高1.2GHz 可以通过命令查看当前支持的频率以及目前所使用主频 …

fastapi 处理请求参数整理

1、路径参数 app.get("/getfilecontent/{id}/{pre}") def get_filecontent(id,pre):"""路径参数,测试接口,读取当前工作目录下的file.txt文件,返回txt中的内容:param id: The ID of the item to retrieve.:param p…

解决使用傅里叶变换开源库fftw分析音频频谱结果与matlab或audacity不一致的问题

找的一些demo输出结果与实际结果相差巨大,修复后效果如下: 采用一个采样率48000,精度16bit,单通道的46Hz,振幅为32767的正弦波测试(理论上应该得输出一个一模一样的正弦波)。输出如下图,可以看…

工业5G路由器提升驾考效率,实现智慧驾考物联网

为了提高驾考的考试效率,更好地服务广大学员,车管所驻考场监控中心结合物联网技术采用智慧驾考系统,实现考场监控、考试员远程监考、学员视频实时回传、自动评判等功能,为驾考公平公正安全提供保障。 该系统由智能监控管理平台和…

百模大战中的AI行业:新趋势与未来发展

文章目录 每日一句正能量前言技术进步应用拓展行业变革人才竞争后记 每日一句正能量 人生最重要的价值是心灵的幸福,而不是任何身外之物。 前言 随着科技的迅猛发展,人工智能(AI)已经成为引领技术革命的重要驱动力之一。在当前的…

使用Java实现合并两个数组[归并排序]

package org.example;import java.util.Scanner;public class incorporateSort {public static void main(String[] args) {Scanner scannernew Scanner(System.in);System.out.println("请输入第一个数组的长度和元素(数组内部必须为升序)");int len1scanner.nextIn…

基于Java SSM框架实现宜百丰超市进销存购物商城系统项目【项目源码+论文说明】

基于java的SSM框架实现宜百丰超市进销存购物商城系统演示 摘要 21世纪的今天,随着社会的不断发展与进步,人们对于信息科学化的认识,已由低层次向高层次发展,由原来的感性认识向理性认识提高,管理工作的重要性已逐渐被…

协作机器人(Collaborative-Robot)安全碰撞的速度与接触力

协作机器人(Collaborative-Robot)的安全碰撞速度和接触力是一个非常重要的安全指标。在设计和使用协作机器人时,必须确保其与人类或其他物体的碰撞不会对人员造成伤害。 对于协作机器人的安全碰撞速度,一般会设定一个上限值&…