Hadoop分布式配置小白篇（附加各阶段问题解决方式）

 看的黑马的课，记录一下配置步骤

目录

1.VMware安装：

方法1：

方法2：

2.创建虚拟机

1.ISO镜像文件获取（CentOS）：

2.创建（简略步骤）

3.克隆虚拟机（克隆伪分布式需要的三个节点）

        创建node1

        修改物理配置

        网络配置

3.关闭防火墙、SELinux（三台机器都要执行）

4.主机名、ip修改，ssh免密登录

 1.修改主机名

  2.修改ip

ping 检查！

3.ssh免密

4.创建hadoop用户

5.jdk、hadoop环境部署

1.jdk环境配置

 2.Hadoop环境配置

1.上传、解压到/export/server，配置软链接

2.配置4份文件

3.设置环境变量

4.给hadoop授权

 5.启动集群、查看WEB UI

5.出现的问题

1.finalshell连接不上

2.finalshell连接很卡

        方法1

        方法2

1.VMware安装：

方法1：

        按照微信公众号软件管家配置，里面有详细步骤且无试用期（推荐）

方法2：

        官网：Windows 虚拟机 | Workstation Pro | VMware | CN

        记得选择合适的安装路径即可

2.创建虚拟机

1.ISO镜像文件获取（CentOS）：

        链接：https://pan.baidu.com/s/1mykapkmv7fW3OdWJpNRODw?pwd=1234
        提取码：1234

2.创建（简略步骤）

        选择镜像存放地址

3.克隆虚拟机（克隆伪分布式需要的三个节点）

        创建node1

        右击上文创建的虚拟机，进行克隆

        同理创建node2、node3（改名字、选择创建自己的路径）

        修改物理配置

        按下图进行配置、node1有主节点、从节点、主节点辅助、所以需要的配置更高

        同理对node2、node3进行配置（2G）

        网络配置

        点击NAT设置

        进入windows该页面

      

  

打开三台虚拟机、点击否

3.关闭防火墙、SELinux（三台机器都要执行）

关闭防火墙：

        systemctl stop firewalld

        systemctl disable firewalld

  关闭SELinux：

        vim /etc/sysconfig/selinux

        将#SELINUX=enforcing改为

        SELINUX=disabled

重启虚拟机即可

4.主机名、ip修改，ssh免密登录

 1.修改主机名

#node1进行以下操作
su
hostnamectl set-hostname node1

#node2进行以下操作
su
hostnamectl set-hostname node2

#node3进行以下操作
su
hostnamectl set-hostname node3

  2.修改ip

#对三个节点都进行以下操作
vim /etc/sysconfig/network-scripts/ifcfg-ens33

IPADDR="192.168.88.201"  #node2为202，node3为203
GATEWAY="192.168.88.2"
NETMASK="255.255.255.8"
DNS1="192.168.88.2"

#重启网卡
service network restart

Vim /etc/hosts

#在最后添加

192.168.88.201  node1
192.168.88.202  node2
192.168.88.203  node3

ping 检查！

对网络进行，在node1中输入

ifconfig

看是否正确

在windows中看是否能ping通

在windows中输入

ipconfig

 在linux中看是否能ping通

3.ssh免密

        后续在多个服务器之间传文件更加方便

三个节点均进行以下操作：

#切换到root用户
su

ssh-keygen -t rsa -b  4096(一路回车)

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

         vi  ~/.ssh/known_hosts   可以看到

         实现免密登录

4.创建hadoop用户

        当前用户root，拥有root权限，后面进行操作时不安全

每个节点执行：
useradd hadoop
passwd hadoop

su hadoop

ssh-keygen -t rsa -b  4096(一路回车)

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

5.jdk、hadoop环境部署

        因为Hadoop是基于Java开发的，所以在安装Hadoop之前要先安装Java

1.jdk环境配置

        #三台机器创建文件夹

        mkdir -p /export/server

使用Finalshell或者Xshell将jdk传到三个主机的/export/server下

对三个主机进行以下操作
 

#转到root用户下
su

cd /export/server 

#解压

tar -zxvf jdk-8u351-linux-x64.tar.gz

#创建软连接（名字太长不好操作、相当于创建一个他的快捷方式）

ln -s /export/server/jdk1.8.0_351 /export/server/jdk

#编辑/etc/profile文件

vim /etc/profile

#加入
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

#查看java版本
java -version

改版本为系统自带的，删除系统自带的java程序

        rm -f /usr/bin/java

软链接自己安装的java程序

        ln -s /export/server/jdk/bin/java /usr/bin/java

        java -version

 2.Hadoop环境配置

        在node1节点下以root权限进行操作

1.上传、解压到/export/server，配置软链接

上传到/export/server

#解压

tar -zxvf hadoop-3.3.0.tar.gz

#创建软连接（名字太长不好操作、相当于创建一个他的快捷方式）

ln -s /export/server/hadoop-3.3.0 /export/server/hadoop

2.配置4份文件

cd  /export/server/hadoop//etc/hadoop

修改workers文件

vim workers

# 删除localhost,填入如下内容

node1
node2
node3
修改hadoop-env.sh文件

vim hadoop-env.sh

# 添加内容

export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

修改core-site.xml文件

vim core-site.xml

# 在最后添加内容

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://node1:8020</value>
  </property>

  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
</configuration>

修改hdfs-site.xml文件

vim hdfs-site.xml

# 在最后添加内容

<configuration>
  <property>
    <name>dfs.datanode.data.dir.perm</name>
    <value>700</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/data/nn</value>           
  </property>
  <property>
    <name>dfs.namenode.hosts</name>
    <value>node1,node2,node3</value>
  </property>
  <property>
    <name>dfs.blocksize</name>
    <value>268435456</value>
  </property>
  <property>
    <name>dfs.namenode.handler.count</name>
    <value>100</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/data/dn</value>
  </property>
</configuration>

注意（node1及作为主节点NameNode又作为从节点DataNode，node2、node3为从节点）：

 3.分发到node2、 node3，并设置环境变量

        此时node1节点中的Hadoop中的文件配置好了，如果同样的对node2、node3进行同样的操作过于麻烦，可以直接将node1中配置好的文件分发到node2、node3中

cd /export/server

scp -r hadoop-3.3.0 node2:`pwd`/

scp -r hadoop-3.3.0 node3:`pwd`/


# 在node2下建立软连接

ln -s /export/server/hadoop-3.3.4 /export/server/hadoop


# 在node2下建立软连接

ln -s /export/server/hadoop-3.3.4 /export/server/hadoop

        设置环境变量

        对三个节点分别进行以下操作

# 在/etc/profile文件底部追加如下内容

vim /etc/profile

export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile
#查看hadoop版本
hadoop version

4.给hadoop授权

当前文件夹所有权为root、使用时hadoop用户无法进行操作

# 以root身份，在三台服务器上均执行
chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

 5.启动集群、查看WEB UI

# 以hadoop用户执行
su - hadoop

# 格式化namenode
hadoop namenode -format

# 一键启动hdfs集群
start-dfs.sh


在浏览器输入：http://node1:9870

5.出现的问题

1.finalshell连接不上

检查步骤4中的ping检查！部分

2.finalshell连接很卡

        方法1

        linux中输入

        systemctl restart systemd-logind

        方法2

        ssh连接时

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/250885.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

idea第一次提交到git（码云）

idea第一次提交到git（码云）

1.先创建一个仓库 2.将idea和仓库地址绑定 2.将idea和仓库地址绑定
阅读更多...
《Kotlin核心编程》笔记：集合、序列与内联函数

《Kotlin核心编程》笔记：集合、序列与内联函数

集合的高阶函数API map 操作 val list listOf(1, 2, 3, 4, 5, 6) val newList list.map { it * 2 }当然&#xff0c;在 Java 8 中&#xff0c;现在也能像Kotlin那样去操作集合了。 上面的方法实际上就是一个高阶函数&#xff0c;它接收的参数实际上就是一个函数&#xff0…
阅读更多...
使用Pytorch从零开始构建LoRA

使用Pytorch从零开始构建LoRA

引言 在这篇博文中&#xff0c;我将向大家展示如何使用Pytorch从头开始构建 LoRA。LoRA 是Low-Rank Adaptation或Low-Rank Adapters的缩写&#xff0c;它提供了一种高效且轻量级的方法来微调预先存在的语言模型。这包括BERT和RoBERTa等掩码语言模型&#xff0c;以及GPT、Llama…
阅读更多...
微服务实战系列之ZooKeeper（中）

微服务实战系列之ZooKeeper（中）

前言 昨日博主的第一篇ZooKeeper&#xff0c;对它自身具备的能力做了初步介绍。书接上文&#xff0c;马不停蹄&#xff0c;我们继续挖掘它内在的美&#xff0c;充分把握它的核心与脉络。 揭秘ZooKeeper Q&#xff1a;集群一致性协同是如何进行的 我们讲到分布式&#xff0c;…
阅读更多...
Linux--LAMP 平台部署及应用

Linux--LAMP 平台部署及应用

5.1 LAMP平台概述 LAMP架构是目前成熟的企业网站应用模式之一&#xff0c;指的是协同工作的一整套系统和相关软件&#xff0c;能够提供动态Web站点服务及其应用开发环境。LAMP是一个缩写词&#xff0c;具体包括Linux操作系统&#xff0c;Apache 网站服务器、MySQL数据库服务器&…
阅读更多...
modbus 通信协议介绍与我的测试经验分享

modbus 通信协议介绍与我的测试经验分享

1、简介 Modbus 协议是一种通信协议&#xff0c;用于工业自动化系统中的设备间通信。该协议最初由 Modicon 公司开发&#xff0c;并于 1979 年发布。 Modbus 协议通过串行通信格式进行通信&#xff0c;在物理层上支持 RS-232、RS-422 和 RS-485 等多种通信方式。在协议层面&am…
阅读更多...
python3GUI--仿win风格天气By:PyQt5

python3GUI--仿win风格天气By:PyQt5

文章目录 一&#xff0e;前言二&#xff0e;展示1.首页-白色1.首页-白色22.首页-黑色3.天气预报视频4.天气资讯-白色5.天气资讯-黑色6.收藏夹-白色7.收藏夹-黑色8.搜索9.mini-白色10.mini-黑色11.光遇天气 三&#xff0e;心得四&#xff0e;总结五&#xff0e;参考 一&#xff…
阅读更多...
软件设计师——计算机网络（三）

软件设计师——计算机网络（三）

&#x1f4d1;前言 本文主要是【计算机网络】——软件设计师——计算机网络的文章&#xff0c;如果有什么需要改进的地方还请大佬指出⛺️ &#x1f3ac;作者简介&#xff1a;大家好&#xff0c;我是听风与他&#x1f947; ☁️博客首页&#xff1a;CSDN主页听风与他 &#x1…
阅读更多...
uniapp之屏幕右侧出现滚动条去掉、隐藏、删除【好用！】

uniapp之屏幕右侧出现滚动条去掉、隐藏、删除【好用！】

目录 问题解决大佬地址最后 问题 解决 在最外层view上加上class“content”;输入以下样式。注意&#xff1a;两个都必须存在在生效。 .content {/* 跟屏幕高度一样高,不管view中有没有内容,都撑开屏幕高的高度 */height: 100vh; overflow: auto; } .content::-webkit-scrollb…
阅读更多...
【JavaWeb】往浏览器打印一个hello world

【JavaWeb】往浏览器打印一个hello world

上集:建一个web项目 第一步&#xff1a;建好Servlet类的文件 右键src&#xff0c;建一个class 就行 第二步&#xff1a;编代码 可以直接复制粘贴 用来测试的类 import javax.servlet.annotation.WebServlet; import javax.servlet.http.HttpServlet; //↓是注解&#xff0…
阅读更多...
同义词替换降低论文抄袭率的有效性探讨 papergpt

同义词替换降低论文抄袭率的有效性探讨 papergpt

大家好&#xff0c;今天来聊聊同义词替换降低论文抄袭率的有效性探讨&#xff0c;希望能给大家提供一点参考。 以下是针对论文重复率高的情况&#xff0c;提供一些修改建议和技巧&#xff0c;可以借助此类工具&#xff1a; 标题&#xff1a;同义词替换降低论文抄袭率的有效性探…
阅读更多...
持续集成交付CICD：Jenkins使用GitLab共享库实现基于SaltStack的CD流水线部署前后端应用

持续集成交付CICD：Jenkins使用GitLab共享库实现基于SaltStack的CD流水线部署前后端应用

目录 一、实验 1.Jenkins使用GitLab共享库实现基于SaltStack的CD流水线部署前后端应用 2.优化共享库代码 二、问题 1.Jenkins手动构建后端项目流水线报错 一、实验 1.Jenkins使用GitLab共享库实现基于SaltStack的CD流水线部署前后端应用 &#xff08;1&#xff09;GitLa…
阅读更多...
云原生之深入解析Kubernetes Operator的最佳实践和最常见的问题分析

云原生之深入解析Kubernetes Operator的最佳实践和最常见的问题分析

一、Kubernetes Operator 简介 Kubernetes Operator 是通过连接主 API 并 watch 时间的一组进程&#xff0c;一般会 watch 有限的资源类型。当相关 watch 的 event 触发的时候&#xff0c;operator 做出响应并执行具体的动作。这可能仅限于与主 API 交互&#xff0c;但通常会涉…
阅读更多...
python快速实现简单的图片透明化

python快速实现简单的图片透明化

整张图片透明化的完整代码如下&#xff1a; import os import glob from PIL import Imagedef convert_to_transparent(image_path, output_folder):image Image.open(image_path)image image.convert("RGBA")data image.getdata()new_data []for item in data:…
阅读更多...
verilog语法进阶-分布式ram原语

verilog语法进阶-分布式ram原语

概述 官方提供的原语 RAM16X1S_1 #(.INIT(16h0000) // Initial contents of RAM) RAM16X1S_1_inst (.O(O), // RAM output.A0(A0), // RAM address[0] input.A1(A1), // RAM address[1] input.A2(A2), // RAM address[2] input.A3(A3), // RAM address[3…
阅读更多...
SpringMVC上传下载文件解读

SpringMVC上传下载文件解读

知识点 文件上传&#xff08;File Upload&#xff09;&#xff1a; 创建一个控制器方法&#xff0c;使用 MultipartFile 参数来接收上传的文件。在 Spring 配置文件中配置一个 MultipartResolver&#xff0c;常用的实现类是 CommonsMultipartResolver。在 MultipartResolver …
阅读更多...
PyTorch官网demo解读——第一个神经网络（1）

PyTorch官网demo解读——第一个神经网络（1）

神经网络如此神奇&#xff0c;feel the magic 今天分享一下学习PyTorch官网demo的心得&#xff0c;原来实现一个神经网络可以如此简单/简洁/高效&#xff0c;同时也感慨PyTorch如此强大。 这个demo的目的是训练一个识别手写数字的模型&#xff01; 先上源码&#xff1a; fr…
阅读更多...
crmeb v5新增一个功能的完整示例记录

crmeb v5新增一个功能的完整示例记录

首先&#xff0c;需求 工作中的二开需求是这样的&#xff0c;修改首页的装修&#xff0c;并新增回收报价的功能 开始动手 第一步&#xff0c;我们要到后面的管理界面&#xff0c;去装修中修改首面的展示 首页的页面配置好之后&#xff0c;就要在 前端的展示程序中 配置相…
阅读更多...
105基于matlab的阶次分析算法

105基于matlab的阶次分析算法

基于matlab的阶次分析算法&#xff0c;用于变转速机械故障特征提取&#xff0c;可运行&#xff0c;包含寻找脉冲时刻&#xff0c;等角度时刻。数据可更换自己的&#xff0c;程序已调通&#xff0c;可直接运行。 105阶次分析变转速信号处理 (xiaohongshu.com)
阅读更多...
二十七、读写文件

二十七、读写文件

二十七、读写文件 27.1 文件类QFile #include <QCoreApplication>#include<QFile> #include<QDebug>int main(int argc, char *argv[]) {QCoreApplication a(argc, argv);QFile file("D:/main.txt");if(!file.open(QIODevice::WriteOnly | QIODe…
阅读更多...
最新文章

Copyright @ 2022~2023