大数据技术学习笔记(二)—— Hadoop 运行环境的搭建

目录

  • 1 准备模版虚拟机hadoop100
    • 1.1 修改主机名
    • 1.2 修改hosts文件
    • 1.3 修改IP地址
      • 1.3.1 查看网络IP和网关
      • 1.3.2 修改IP地址
    • 1.4 关闭防火墙
    • 1.5 创建普通用户
    • 1.6 创建所需目录
    • 1.7 卸载虚拟机自带的open JDK
    • 1.8 重启虚拟机
  • 2 克隆虚拟机
  • 3 在hadoop101上安装JDK
    • 3.1 传输安装包并解压
    • 3.2 配置JDK环境变量
    • 3.3 测试JDK是否安装成功
  • 4 在hadoop101上安装Hadoop
    • 4.1 解压安装包
    • 4.2 配置Hadoop环境变量
    • 4.3 测试Hadoop是否安装成功

笔者使用镜像为:CentOS-7.5-x86_64-DVD-1804.iso

1 准备模版虚拟机hadoop100


CentOS-7.5-x86-1804为例,安装成功后:

1.1 修改主机名


查看当前主机名

hostname

修改当前主机名

vim /etc/hostname

修改主机名为 hadoop100

1.2 修改hosts文件


  1. 修改linux的主机映射文件(hosts文件)

编辑 /etc/hosts

vim /etc/hosts

添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
  1. 修改windows的主机映射文件(hosts文件)

进入C:\Windows\System32\drivers\etc 路径,打开hosts文件并添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105

1.3 修改IP地址

1.3.1 查看网络IP和网关


查看虚拟网络编辑器

在这里插入图片描述

查看windows环境的中VMnet8网络配置

在这里插入图片描述

1.3.2 修改IP地址


vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

编辑完后,按键盘esc ,然后输入 :wq 回车即可。

重启网络

systemctl restart network

查看修改后的IP

ifconfig

或者

ip addr

1.4 关闭防火墙


关闭防火墙,并关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld

1.5 创建普通用户


创建普通用户huwei

useradd huwei

修改普通用户huwei的密码

passwd huwei

配置 huwei 用户具有 root 权限,方便后期加 sudo 执行 root 权限的命令

vim /etc/sudoers

esc,键入:set nu显示行号,找到91行,在 root 下面添加一行

在这里插入图片描述

esc,对该只读文件保存强制退出:wq!

1.6 创建所需目录


/opt 目录下创建 module、software 文件夹

mkdir /opt/module
mkdir /opt/software

修改 module、software 文件夹的所有者和所属组均为 huwei 用户

chown huwei:huwei /opt/module
chown huwei:huwei /opt/software

查看module、software文件夹的所有者和所属组

cd /opt/
ll

在这里插入图片描述

1.7 卸载虚拟机自带的open JDK


rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

1.8 重启虚拟机


reboot

2 克隆虚拟机


利用模板机 hadoop100,克隆三台虚拟机:hadoop101 、hadoop102、hadoop103

然后修改克隆机IP,以下以 hadoop101 举例说明。

修改IP地址,只需改 IPADDR=192.168.10.101

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改主机名为 hadoop101

vim /etc/hostname

重启!

暂时不考虑克隆 hadoop102、hadoop103

3 在hadoop101上安装JDK

3.1 传输安装包并解压


将 hadoop 和 jdk 通过传输工具上传到 /opt/software

在这里插入图片描述

切换到 /opt/software目录下,解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module/

3.2 配置JDK环境变量


新建 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

3.3 测试JDK是否安装成功


java -version

在这里插入图片描述

如果能看到以上结果,则代表 Java 安装成功!

4 在hadoop101上安装Hadoop

4.1 解压安装包


切换到 /opt/software目录下,解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf hadoop-3.1.3.tar.gz -C ../module/

查看Hadoop目录结构

cd /opt/module/hadoop-3.1.3/
ll

在这里插入图片描述

重要目录

  • bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
  • etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
  • lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
  • sbin目录:存放启动或停止Hadoop相关服务的脚本
  • share目录:存放Hadoop的依赖jar包、文档、和官方案例

4.2 配置Hadoop环境变量


编辑 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使环境变量生效

source /etc/profile

4.3 测试Hadoop是否安装成功


hadoop version

在这里插入图片描述

如果能看到以上结果,则代表 Hadoop 安装成功!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/103236.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

alsa音频pcm设备之i2c调试

i2cdetect 列举 I2C bus i2cdetect -l ls /dev/i2c* 列出I2C bus i2c-7 上面连接的所有设备,并得到i2c设备地址 i2cdetect -y 7 发现i2c设备的位置显示为UU或表示设备地址的数值,UU表示设备在driver中被使用. I2cdump i2c设备大量register的值 i2cdump -y 7 0x40 I2cset设置…

python爬虫分析基于python图书馆书目推荐数据分析与可视化

收藏关注不迷路 文章目录 前言一、项目介绍二、开发环境三、功能介绍四、核心代码五、效果图六、文章目录 前言 随着电子技术的普及和快速发展,线上管理系统被广泛的使用,有很多商业机构都在实现电子信息化管理,图书推荐也不例外&#xff0c…

【图结构从入门到应用】图的表示和遍历,图搜索算法详解与示例

1 图的概念 图是一种非常常见的数据结构,用于表示对象之间的关系。在计算机科学中,有许多不同的图类型,包括有向图(Directed Graph)和无向图(Undirected Graph)。图通常由节点(顶点&…

语雀崩了,免费送VIP6个月,赶紧薅!!

一、前言 在一个无聊的周一,下午浑浑噩噩的时候,一条公众号信息引起我的关注。 什么东西?语雀这种量级的产品也能崩? 看了一下还真是官方公众号发的!! 心里不由得出现,完蛋整个团队要打包遣…

计算机毕设 flink大数据淘宝用户行为数据实时分析与可视化

文章目录 0 前言1、环境准备1.1 flink 下载相关 jar 包1.2 生成 kafka 数据1.3 开发前的三个小 tip 2、flink-sql 客户端编写运行 sql2.1 创建 kafka 数据源表2.2 指标统计:每小时成交量2.2.1 创建 es 结果表, 存放每小时的成交量2.2.2 执行 sql &#x…

RetentionPolicy枚举类

包名package java.lang.annotation 作用 注释保留策略。此枚举类型的常量描述用于保留注释的各种策略。它们被使用与{ Retention}元注释类型一起指定注释要保留多长时间。 属性 SOURCE编译器将丢弃注释。CLASS注释将由编译器记录在类文件…

Docker网络与资源控制

Docker网络与资源控制 一、Docker网络模式1.1、Docker网络实现原理1.2、Docker的网络模式1.2.1、host模式1.2.2、Container模式1.2.3、None模式1.2.4、 Bridge模式1.2.5、自定义网络 二、资源控制2.1、CPU 资源控制2.1.1、设置CPU使用率上限2.1.2、进行CPU压力测试2.1.3、设置C…

vue首页多模块布局(标题布局)

<template><div class"box"><div class"content"><div class"box1" style"background-color: rgb(245,23,156)">第一个</div><div class"box2" style"background-color: rgb(12,233,…

霸王条款惹品牌争议,京东双11站在商家对立面?

作者 | 江北 来源 | 洞见新研社 双11活动第一天&#xff0c;京东就站上了风口浪尖。 与烘焙烤箱品牌海氏的话题接连登上微博热搜&#xff0c;海氏控诉京东滥用市场竞争地位&#xff0c;破坏市场竞争秩序。在海氏的声明中&#xff0c;京东的行为让吃瓜群众大开眼界&#xff1a…

智能井盖监测系统功能,万宾科技传感器效果

智能井盖传感器的出现是高科技产品的更新换代&#xff0c;同时也是智慧城市建设中的需求。在智慧城市建设过程之中&#xff0c;高科技产品的应用数不胜数&#xff0c;智能井盖传感器的出现&#xff0c;解决了城市道路安全保护着城市地下生命线&#xff0c;改善着传统井盖带来的…

Hive安装配置笔记

版本说明 hadoop-3.3.6&#xff08;已安装&#xff09; mysql-8&#xff08;已安装&#xff09; hive-3.1.3 将hive解压到对应目录后做如下配置&#xff1a; 基本配置与操作 1、hive-site <configuration><!-- jdbc连接的URL --><property><name>ja…

微信小程序菜单导航选中自动居中

菜单导航选中自动居中 示例库 代码片段

Android Studio模拟器/虚拟设备连接互联网的方法

如图&#xff0c;无线、网络都无法联网 找到本机的DNS 找到emu-launch-params.txt&#xff0c;添加DNS -dns-server 192.168.124.1 重启虚拟机&#xff0c;关闭无线

智慧公厕:打造更美好的城市生活环境

在信息技术迅猛发展的今天&#xff0c;智慧公厕作为一种创新的城市管理模式&#xff0c;正逐渐受到人们的关注。以物联网、大数据、人工智能为基础&#xff0c;智慧公厕正逐步改变传统公厕的面貌&#xff0c;为城市居民提供更便捷、舒适的公共服务。本文将以智慧公厕源头厂家广…

机械设计制造,设计行业图纸透明加密保护。防止内部终端核心文件数据、资料外泄

当下互联网时代&#xff0c;许多设计单位的设计图纸都是以电子文件的形式存在于终端电脑和服务器上。在图纸的设计生产过程中&#xff0c;必定会经过多个部门人员之手&#xff0c;此过程中就隐藏着巨大的风险。所以&#xff0c;设计单位需要使用专业的图纸加密软件来保护内部图…

【软考系统架构设计师】2021年系统架构师综合知识真题及解析

本文主要分享2021年下半年系统架构师综合知识历年真题以及本人在做题时的所思所想。题目序号有点混乱&#xff0c;可忽略 【01】.某计算机系统页面大小为4K&#xff0c;进程P1的页面变换表如下图所示&#xff0c;看P1要访问数据的逻辑地址为十六进制1B1AH,那么该逻辑地址经过变…

DDOS直接攻击系统资源

DDOS ——直接攻击系统资源 思路&#xff1a; 攻击机利用三次握手机制&#xff0c;产生大量半连接&#xff0c;挤占受害者系统资源&#xff0c;使其无法正常提供服务。 1、先体验下受害者的正常网速。在受害者主机上执行以下命令 (1)开启Apache。 systemctl start apache2 (2…

【QT】其他常用控件2

新建项目 lineEdit 什么都不显示&#xff08;linux password&#xff09; password textEdit和plainTextEdit spinBox和doubleSpinBox timeEdit、dateEdit、dateTimeEdit label 显示图案&#xff0c;导入资源&#xff1a;【QT】资源文件导入_复制其他项目中的文件到qt项目中_St…

rabbitmq-3.8.15集群、集群镜像模式安装部署

目录 一、环境 1、映射、域名、三墙 2、Erlang和socat安装&#xff08;三台服务器都实行&#xff09; 二、部署三台rabbitmq-3.8.15实例 1、rabbitmq官网下载地址 &#xff1a; 2、解压rabbitmq 3、添加系统变量 4、启动web插件、启动rabbitmq 5、在rabbitmq1上添加用…

HackTheBox---Starting Point-- Tier 0---Meow

文章目录 一 题目二 实验过程 一 题目 Tags Telnet、Network、Protocols、Reconnaissance、Weak Credentials、Misconfiguration译文&#xff1a;标签、远程登录、网络、协议、侦察、弱凭证、配置错误Connect To attack the target machine, you must be on the same networ…