4.2-6 使用Hadoop WebUI

文章目录

  • 1. 查看HDFS集群状态
    • 1.1 端口号说明
    • 1.2 用主机名访问
    • 1.3 主节点状态
    • 1.4 用IP地址访问
    • 1.5 查看数据节点
  • 2. 操作HDFS文件系统
    • 2.1 查看HDFS文件系统
    • 2.2 在HDFS上创建目录
    • 2.3 上传文件到HDFS
    • 2.4 删除HDFS文件和目录
  • 3. 查看YARN集群状态
  • 4. 实战总结

在这里插入图片描述

1. 查看HDFS集群状态

1.1 端口号说明

  • Hadoop 2.x 使用端口号 50070
  • Hadoop 3.x 使用端口号 9870

1.2 用主机名访问

访问 Hadoop WebUI 通过 http://master:9870,其中 master 是主节点的主机名。

1.3 主节点状态

  • Active 表示主节点处于正常运行状态。

1.4 用IP地址访问

使用主节点的浮动IP地址访问,例如 http://192.168.219.83:9870,并查看本机映射文件。

1.5 查看数据节点

  • 单击绿色导航栏上的 Datanodes 选项卡,可以查看集群中所有数据节点的状态。

2. 操作HDFS文件系统

2.1 查看HDFS文件系统

  • 单击 Utilities 选项卡,然后选择 Browse the file system 菜单项,查看根目录 /

2.2 在HDFS上创建目录

  • 创建根目录下的 BigData 目录

    • 切换到根目录。
    • 找到并单击 Create Directory 按钮。
    • 输入目录名 BigData 并单击 Create 按钮。
  • china 里创建 sichuan/luzhou/lzy 多级目录

    • 进入 china 目录,创建 sichuan
    • 进入 sichuan,创建 luzhou
    • 进入 luzhou,创建 lzy

2.3 上传文件到HDFS

  • 上传小文件(如 hosts 文件)到 /BigData 目录

    • 切换到 /BigData 目录。
    • 单击 Upload Files 按钮。
    • 选择文件并单击 Upload 按钮。
  • 上传大文件(如 hadoop-3.3.4.tar.gz)到 /BigData 目录

    • 注意大文件会被分割成多个块,默认块大小为128M。
    • 查看文件详情和块信息。

2.4 删除HDFS文件和目录

  • 删除文件

    • 单击文件右侧的删除图标。
    • 确认删除操作。
  • 删除目录

    • 单击目录右侧的删除图标。
    • 确认删除操作。

3. 查看YARN集群状态

通过访问 http://master:8088 可以查看YARN集群的状态。如果还没有运行过MapReduce应用,表格中将没有任何数据。

4. 实战总结

在本次实战中,我们通过Hadoop WebUI成功监控了HDFS集群状态,并掌握了如何在HDFS上进行文件和目录的操作。通过访问端口9870,我们查看了集群状态,创建并上传了文件,以及执行了删除操作。此外,通过端口8088我们检查了YARN集群状态。这些操作加深了我们对Hadoop文件系统管理的理解,为后续的大数据处理打下了坚实基础。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/905022.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

嵌入式硬件电子电路设计(一)开关电源Buck电路

目录 Buck电路基本结构 1. 开关闭合(SW 闭合) 2. 开关断开(SW 断开) 3. 开关控制和占空比 MP1584电路分析 其他Buck芯片的电路参考 Buck电路基本结构 下图是简化之后的BUCK电路主回路。下面分析输出电压的产生K闭合后&…

医院信息化与智能化系统(14)

医院信息化与智能化系统(14) 这里只描述对应过程,和可能遇到的问题及解决办法以及对应的参考链接,并不会直接每一步详细配置 如果你想通过文字描述或代码画流程图,可以试试PlantUML,告诉GPT你的文件结构,让他给你对应…

Unity 使用Netcode实现用户登录和登出

Unity之NetCode for GameObjets 基本使用 说明思路相关API代码实现Tips 说明 最近项目需要联机,项目方案选用Unity提供的NetCode for GameObjets(以下简称NGO),踩了不少坑,本文不介绍基础使用,围绕双端&am…

【单机游戏】红色警戒游戏介绍和玩法

平地一声惊雷,金将军居然发射了洲际导弹,虽然我们不能亲自体验,但是我们可以自己在游戏中体验一把,今天就介绍一个很多80 90都玩过的即时战略游戏-红色警戒 https://pan.quark.cn/s/7aca45fa3dd7 红色警戒(Red Alert …

【Python各个击破】matplotlib

导入 import matplotlib.pyplot as plt import numpy as np用法 # 根据x,y数组作图 fig, ax plt.subplots() ax.plot([1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33,…

JavaEE初阶---网络原理之TCP篇(二)

文章目录 1.断开连接--四次挥手1.1 TCP状态1.2四次挥手的过程1.3time_wait等待1.4三次四次的总结 2.前段时间总结3.滑动窗口---传输效率机制3.1原理分析3.2丢包的处理3.3快速重传 4.流量控制---接收方安全机制4.1流量控制思路4.2剩余空间大小4.3探测包的机制 5.拥塞控制---考虑…

ssm022房屋租售网站的设计与实现+jsp(论文+源码)_kaic

毕 业 设 计(论 文) 题目:房屋租售网站的设计与实现 摘 要 互联网发展至今,无论是其理论还是技术都已经成熟,而且它广泛参与在社会中的方方面面。它让信息都可以通过网络传播,搭配信息管理工具可以很好地为…

Knife4j配置 ▎使用 ▎教程 ▎实例

knife4j简介 支持 API 自动生成同步的在线文档:使用 Swagger 后可以直接通过代码生成文档,不再需要自己手动编写接口文档了,对程序员来说非常方便,可以节约写文档的时间去学习新技术。 提供 Web 页面在线测试 API:光有文档还不够,Swagger 生成的文档还支持在线测试.参数和格式都…

CSS flex布局- 最后一个元素占满剩余可用高度转载

效果图 技术要点 height父元素必须有一个设定的高度flex-grow: 1 flex 盒子模型内的该元素将会占据父容器中剩余的空间F12检查最后一行的元素,高度就已经改变了;

虚拟环境设置成kernel来解决一些jupyter报错问题

1. 下面提到的问题应该是不同环境(base、虚拟环境)的区别,而不是python版本的区别。 2. 这个方法起到了比较好的效果,但是底层的逻辑还没太明白,有时间继续研究下。 3. 最终的结果好像是pycharm、anaconda用的python…

(五)Web前端开发进阶2——AJAX

目录 1.Ajax概述 2.Axios库 3.认识URL 4.Axios常用请求方法 5.HTTP协议——请求报文/响应报文 6.前后端分离开发 7.Element组件库 1.Ajax概述 AJAX 是异步的 JavaScript和XML(Asynchronous JavaScript And XML)。简单点说,就是使用XMLHttpRequest 对象与服务…

揭秘PyInstaller:Python应用打包的瑞士军刀

文章目录 **揭秘PyInstaller:Python应用打包的瑞士军刀**1. 背景介绍:为何选择PyInstaller?2. PyInstaller究竟是什么?3. 如何安装PyInstaller?4. PyInstaller的简单使用方法4.1 打包单个Python脚本4.2 生成单个可执行…

Spring Boot 创建项目详细介绍

上篇文章简单介绍了 Spring Boot(Spring Boot 详细简介!),还没看到的读者,建议看看。 下面,介绍一下如何创建一个 Spring Boot 项目,以及自动生成的目录文件作用。 Maven 构建项目 访问 http…

机器学习——解释性AI(Explainable AI)

机器学习——解释性AI(Explainable AI) 解释性AI(Explainable AI)——让机器学习模型更加透明与可信什么是解释性AI?解释性AI的常见方法示例代码:使用SHAP解释随机森林模型示例代码:使用LIME解释…

开源一款基于 JAVA 的仓库管理系统,支持三方物流和厂内物流,包含 PDA 和 WEB 端的源码

大家好,我是一颗甜苞谷,今天分享一款基于 JAVA 的仓库管理系统,支持三方物流和厂内物流,包含 PDA 和 WEB 端的源码。 前言 在当前的物流仓储行业,企业面临着信息化升级的迫切需求,但往往受限于高昂的软件采购和维护成本。现有的…

Tomcat servlet response关于中文乱码的经验

前言 最近修改老项目项目,使用zuul网关返回的中文内容乱码了,如果使用GBK或者GB2312编码确正常显示,稍微实验了一下,发现里面很多细节,毕竟Springboot对我们做了很多事情,而且当我们使用不同的模式会出现很…

【原创分享】详述中间件的前世今生

中间件是一种软件组件,位于应用程序和操作系统之间,通过提供统一的接口和功能来简化开发和管理应用程序、提高应用程序的可靠性和性能。 中间件的前世可以追溯到20世纪80年代的分布式系统和网络技术的发展。在那个时候,随着计算机网络的普及…

JAVA力扣每日一题:P198. 打家劫舍

本题来自:力扣-每日一题 力扣 (LeetCode) 全球极客挚爱的技术成长平台https://leetcode.cn/ 题解: class Solution {public int rob(int[] nums) {int len nums.length;if(len 0)return 0;if(len 1)return nums[0];int first nums[0];int second …

Nuxt.js 应用中的 components:dirs 事件钩子详解

title: Nuxt.js 应用中的 components:dirs 事件钩子详解 date: 2024/10/31 updated: 2024/10/31 author: cmdragon excerpt: components:dirs 是 Nuxt.js 中的一个生命周期钩子,用于在 app:resolve 期间扩展自动导入组件的目录。通过这个钩子,开发者可以动态地添加新的组…

IDEA 好用的插件分享

IDEA 好用的插件分享 一、常用篇1. CamelCase(大小写格式转换)2. Translation (翻译插件)3. GitToolBox (git工具箱)4. CodeGlance Pro(代码缩略图)5. fittencode(代码补…