大数据Hadoop入门04 ——【HDFS shell操作】

一、HDSF shell命令行解释说明

1、介绍 

  • 命令行界面(英语: command-line interface,缩写: CLl),是指用户通过键盘输入指令,计算机接收到指令后,予以执行一种人际交互方式。
  • Hadoop提供了文件系统的shell命令行客户端: hadoop fs [generic options] 

2、文件系统协议

  • HDFS Shell CLI支持操作多种文件系统,包括本地文件系统(file:/l/)、分布式文件系统(hdfs:/nn:8020)等具体操作的是什么文件系统取决于命令中文件路径URL中的前缀协议。
  • 如果没有指定前缀,则将会读取环境变量中的fs.defaultFS属性,以该属性值作为默认文件系统。 
hadoop fs -ls file:ll#操作本地文件系统
hadoop fs -ls hdfs://node1:8020/#操作HDFS分布式文件系统
hadoop fs -ls/#直接根目录,没有指定协议将加载读取fs.defaultFS值

区别

  • hadoop dfs只能操作HDFS文件系统(包括与Local FS间的操作),不过已经Deprecated;
  • 目前版本来看,官方最终推荐使用的是hadoop fs。

3、参数说明

  • HDFS文件系统的操作命令很多和Linux类似,因此学习成本相对较低。
  • 可以通过hadoop fs -help命令来查看每个命令的详细用法。 
Usage: hadoop fs [generic options]

[-appendToFile <localsrc> ... <dst>][-cat [-ignoreCrc] <src> ...]
-appendToFile <localsrc> ... <dst> :
Appends the contents of all the given local files to the given dst file. The dstfile will be created if it does not exist. lf <localSrc> is -, then the input isread from stdin.
-cat [-ignoreCrc] <src> ...:
-CAT<src>.
Fetch all files that match the file pattern <src> and display their content onstdout.

二、HDFS命令行常用操作

1、创建文件夹

hadoop fs -mkdir [-p] <path> ... 。
path为待创建的目录 路径为待创建的目录
-p选项的行为与Unix mkdir -p非常相似,它会沿着路径创建父目录。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/492897.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

【收集】好玩的技术

文章目录 IP-Adapter-FaceID IP-Adapter-FaceID https://huggingface.co/h94/IP-Adapter-FaceID

http模块—http请求练习

题目要求&#xff1a;搭建如下http服务&#xff1a; 1.当浏览器向我们的服务器发送请求时&#xff0c;当请求类型是get请求&#xff0c;请求的url路径地址是/login。响应体结果是登录页面 2.当浏览器向我们的服务器发送请求时&#xff0c;当请求类型是get请求&#xff0c;请求…

【物联网开源平台】tingsboard安装与编译

别看这篇了&#xff0c;这篇就当我的一个记录&#xff0c;我有空我再写过一篇&#xff0c;编译的时候出现了一个错误&#xff0c;然后我针对那一个错误执行了一个命令&#xff0c;出现了绿色的succes,我就以为整个tingsboard项目编译成功了&#xff0c;后面发现的时候&#xff…

CentOS 7 下安装RabbitMQ教程

CentOS 7 下安装RabbitMQ教程 一、做准备&#xff08;VMWare 虚拟机上的 CentOS 7 镜像 上安装的&#xff09; &#xff08;1&#xff09;准备RabbitMQ的安装包&#xff08;rabbitmq-server-3.8.5-1.el7.noarch&#xff09;下载地址mq &#xff08;2&#xff09;还得准备erl…

若以适配国产数据库达梦和人大金仓

首先是nacos 部署完成&#xff0c;若以工程启动正常的情况下。 1.在若以工程中添加新的模块。这个不过多介绍网上例子很多。 2.工程建成后需要需要适配的mysql 数据库中的表。 新将项目Nacos 中添加人大金仓数据 因为本身我这个连接的比较多 第一个数据库是mysql 5.7 第二…

工业无线网关在汽车制造企业的应用效果和价值-天拓四方

随着智能制造的快速发展&#xff0c;工业无线网关作为关键通信设备&#xff0c;在提升生产效率、优化生产流程、实现设备间的互联互通等方面发挥着越来越重要的作用。以下是一个关于工业无线网关在智能制造行业应用的具体案例&#xff0c;展示了其在实际生产中的应用效果和价值…

初学者怎么学习Python?Python学习从什么开始?

学习Python&#xff0c;可以先从Python爬虫开始哈 首选&#xff0c;爬虫并不是网上传言的那样&#xff0c;动不动就面向铁窗编程等&#xff0c;正规的爬虫还是相当有市场的&#xff01;&#xff01;&#xff01; 而 Python 作为入门简易的语言&#xff0c;语法也相当简洁&…

《无名之辈》天涯镖局攻略:高效拉镖窍门!

《无名之辈》天涯镖局开启要注意什么&#xff0c;在这里&#xff0c;每一次运镖都是一次刺激的冒险&#xff0c;而掌握合适的策略将让你事半功倍。以下是天涯镖局的开启攻略&#xff0c;助你在危机四伏的路途上赢得胜利。 ① 拉取适当级别的包子和加速卡 在天涯镖局中&#xf…

【LVGL-消息框部件(lv_msgbox)】

LVGL-消息框部件&#xff08;lv_msgbox&#xff09; ■ LVGL-消息框部件&#xff08;lv_msgbox&#xff09;■ 示例一&#xff1a;隐藏&#xff0c;弹窗消息框■ 示例二&#xff1a;■ 综合示例&#xff1a; ■ LVGL-消息框部件&#xff08;lv_msgbox&#xff09; ■ 示例一&am…

万兆车载以太网转换器 10G/2.5G多速车载以太网转换器-MC10GM

MC10GM转换器 一、产品简要分析 2.5G,5G,10G可切换万兆/多速车载以太网转换器。采用罗森博格H-MTD标准接口类型。实现将车载以太网标准2.5/5/10G BASE-T1转换为工业级2.5/5/10G 标准以太网&#xff0c;进而接入电脑或工控机. 产品实现2.5/5/10G Base-T1 和2.5/5/10G Base-R之间…

Go——结构体

Go语言中没有类的概念&#xff0c;也不支持类的继承等面向对象的概念。Go语言中通过结构体的内嵌再配合接口比面向对象具有更高的扩展性和灵活性。 一. 类型别名和自定义类型 1.1 自定义类型 在Go语言中有一些基本的数据类型&#xff0c;如string&#xff0c;整型&#xff0c;…

php反序列化——pop链构造[SWPUCTF 2021 新生赛]pop [NISACTF 2022]babyserialize

构造pop链 [SWPUCTF 2021 新生赛]pop 用反推法 从后往前推 这题的最后一步很明显 只要给$admin和$passwd赋值 就会echo flag 所以反推法第一步就是要调用Getflag()函数 找到$this->w00m->{$this->w22m}(); $this->mw00->{$this->w22m}();的意思是调用当…

中科数安|企业内部核心数据、技术资料透明加密系统,防止外泄

#文件防泄密软件# 中科数安公司专为企业内部核心数据和技术资料的安全保驾护航&#xff0c;其提供的透明加密系统是一款强有力的信息安全保障工具。 中科数安 | 信息安全防泄密系统 PC地址&#xff1a;www.weaem.com 这套系统主要特点和功能包括&#xff1a; 1. **透明加密**…

你的 Python 代码需要解释一下了!

Python 是一种相对简单的编程语言。它主要以解释型语言著称&#xff0c;这意味着每行代码都要通过解释器逐行执行。不过在某些时候&#xff0c;将 Python 代码翻译成计算机可以理解的内容&#xff0c;然后再逐行执行&#xff0c;可以减少繁琐。 在这种情况下&#xff0c;编译器…

PyTorch 教程-快速上手指南

文章目录 PyTorch Quickstart1.处理数据2.创建模型3.优化模型参数4.保存模型5.加载模型 PyTorch 基础入门1.Tensors1.1初始化张量1.2张量的属性1.3张量运算1.3.1张量的索引和切片1.3.2张量的连接1.3.3算术运算1.3.4单元素张量转变为Python数值 1.4Tensor与NumPy的桥接1.4.1Tens…

langchin-chatchat部分开发笔记(持续更新)

大模型相关目录 大模型&#xff0c;包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容 从0起步&#xff0c;扬帆起航。 大模型应用向开发路径及一点个人思考大模型应用开发实用开源项目汇总大模型问答项目…

uniapp 苹果支付内购示例代码

// #ifdef APPasync init() {uni.showLoading({title: 检测支付环境...});try {// 初始化&#xff0c;获取iap支付通道await this._iap.init();// 从苹果服务器获取产品列表this.productList await this._iap.getProduct();this.productList[0].checked true;this.productId …

阿里云部署宝塔,设置了安全组还是打不开。

1.在安全组是开放正确的端口好。8888要开&#xff0c;但是不只是开放8888&#xff0c;举个例子&#xff0c;https://47.99.53.222:17677/49706cf7这个&#xff0c;要开放17677这个端口号。 2.安全组要挂载到实例上&#xff0c;从三个点的进入点击管理实例&#xff0c;加到对应的…

独立站推广新策略:从精准定位到网红合作,开启品牌“长红”之路

随着互联网技术的飞速发展和消费者购物习惯的不断变化&#xff0c;独立站作为一种新型的电商模式&#xff0c;正逐渐成为品牌商家们拓展市场、提升品牌影响力的重要途径。然而&#xff0c;如何在竞争激烈的市场中脱颖而出&#xff0c;实现从短期流量吸引向长期品牌建设的转变&a…

为响应国家号召,搜维尔科技开启虚拟仿真实验室设备升级改造服务

近日&#xff0c;国务院发布了关于《推动大规模设备更新和消费品以旧换新行动方案》&#xff0c;该通知的发布表现出国家对于科技创新事业的高度重视。各行各业都在积极响应国家号召&#xff0c;加快数字化转型和设备升级与更新步伐。搜维尔科技为响应国家号召&#xff0c;将开…