hadoop shell操作 hdfs处理文件命令 hdfs上传命令 hadoop fs -put命令hadoop fs相关命令 hadoop(十三)

hadoop fs -help rm 查看rm命令作用

hadoop fs 查看命令

1. 创建文件夹:

# hdfs前缀也是可以的。更推荐hadoop
hadoop fs -mkdir /sanguo

2.上传至hdfs命令:

   作用: 从本地上传hdfs系统 (本地文件被剪切走,不存在了)

   命令:

# 新建文件
vi shuguo.txt
#进入后 输入一些文字,保存退出即可

#同shuguo.txt要在同目录下,输入命令
hadoop fs -moveFromLocal shuguo.txt /sanguo

 3. 拷贝文件上传到hdfs系统:

#新增文件
vi weiguo.txt
# 输入一些文字,保存并退出
 
# 从本地复制一份文件,至hdfs文件系统
hadoop fs -copyFromLocal weiguo.txt /sanguo


# 同上相同,更推荐这种,更加简洁
hadoop fs -put weiguo.txt /sanguo

4. 追加文件内容:

# 新建文件
vi liubei.txt
# 输入一些文字,保存并退出

# 
hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt

5. 从hdfs下载至本地:

# copy
hadoop fs -copyToLocal /sanguo/shuguo.txt ./


# 更推荐这种,简洁
# 下载
hadoop fs -get /sanguo/shuguo.txt ./

6. ls命令:

hadoop fs -ls /sanguo

7. cat命令:

hadoop fs -cat /sanguo/shuguo.txt

 8.更改权限:

hadoop fs -chown hadoop:hadoop /sanguo/shuguo.txt

 9. cp 复制:

# 创建文件夹
hadoop fs -mkdir /jinguo
# 复制
hadoop fs -cp /sanguo/shuguo.txt /jinguo

10. mv 移动:

hadoop fs -mv /sanguo/weiguo.txt /jinguo

11. tail 查看

hadoop fs -tail /sanguo/shuguo.txt

12. 删除文件或文件夹

# 删除文件
hadoop fs -rm /sanguo/shuguo.txt

# 递归删除文件夹
hadoop fs -rm -r /sanguo

13. 统计文件夹大小信息:

hadoop fs -du -s -h /sanguo

   27 文件大小81 副本*文件大小

下面是查看文件夹每个文件的统计信息

hadoop fs -du  -h /sanguo

14. 设置副本数量:

hadoop fs -setrep 2 /sanguo/shuguo.txt

  副本数量记录在NameNode,不要设置超过节点数量的副本,设置超过节点数,最多也只是总节点数量的副本,不会超过DataNode节点数, 如果设置8个副本,如果DataNode节点数有8个,才会有8个副本

总结:命令太多不一一列举了,同centos系统一样,只是前面加了hadoop fs, 很容易记住

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/175701.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

技术分享| gcc版本升级到5.2

一、介绍 GCC(GNU Compiler Collection)是一套广泛使用的开源编译器集合,用于编译多种编程语言,包括C、C、Objective-C、Fortran等。GCC 的不同版本提供了许多新功能、改进和修复,其中包括从 GCC 4.8.5 升级到 GCC 5.…

分享十几个适合新手练习的软件测试项目

说实话,在找项目的过程中,我下载过(甚至付费下载过)N多个项目、联系过很多项目的作者,但是绝大部分项目,在我看来,并不适合你拿来练习,它们或多或少都存在着“问题”,比如…

AIGC 点亮创作之旅,「重内容」行业也能轻装出发

毋庸置疑,AIGC 的普及成为了内容产业的一束光。 不仅策划们可以从信息挖掘、素材调用、修改编辑等基础文案工作中解放出来,美术也成为 AIGC 的应用强项,基本的加文字、换背景、改尺寸、延展素材等,都能快速解决。 内容创作者们也因…

kafka权限认证 topic权限认证 权限动态认证-亲测成功

kafka权限认证 topic权限认证 权限动态认证-亲测成功 kafka动态认证 自定义认证 安全认证-亲测成功 MacBook Linux安装Kafka Linux解压安装Kafka 介绍 1、Kafka的权限分类 身份认证(Authentication):对client 与服务器的连接进行身份认证…

leetcode 240. 搜索二维矩阵 II

2023.11.22 本题最先想到的是暴力法和二分法,暴力法就不写了,写一下二分法的解法,java代码如下: class Solution {public boolean searchMatrix(int[][] matrix, int target) {for(int[] row : matrix){int left 0;int right r…

新能源车将突破2000万辆,汉威科技为电池安全保驾护航

近年来,我国新能源汽车销量持续突破新高。据中汽协数据,1~10月,国内新能源汽车销量达728万辆,同比增长37.8%,市场占有率达到30.4%。随着第四季度车市传统旺季的到来,新能源消费需求将进一步释放&#xff0c…

一文带你快速了解Python史上最快Web框架

文章目录 1. 写在前面2. Sanic框架简介2.1 背景2.2 特征与优势 3. Sanic框架实战3.1. 安装Sanic3.2. Demo案例编写 【作者主页】:吴秋霖 【作者介绍】:Python领域优质创作者、阿里云博客专家、华为云享专家。长期致力于Python与爬虫领域研究与开发工作&a…

4.2V升多串LED驱动升压6V9V12V恒流点灯

4.2V升多串LED驱动升压6V9V12V恒流点灯 探索WT7012,这款引领潮流的升压转换器,其强大功能将彻底改变您的LED驱动格局。可以轻松驾驭多达7串白光LED,展现出无与伦比的驱动能力。 无论是单节锂电池还是多节锂电池供电产品,宽电压3…

老知识复盘-SQL从提交到执行到底经历了什么 | 京东云技术团队

一、什么是SQL sql(Structured Query Language: 结构化查询语言)是高级的费过程化编程语言,允许用户在高层数据结构上工作, 是一种数据查询和程序设计语言, 也是(ANSI)的一项标准的计算机语言. but… 目前仍然存在着许多不同版本的sql语言,为了与ANSI标准相兼容, 它们必须以相…

特征工程完整指南 - 第二部分

苏米特班迪帕迪亚 照片由Dan Cristian Pădureş在Unsplash上拍摄 一、说明 DATA,通常被称为原油,需要经过加工和清洁才能有效地用于各种用途。正如我们不直接使用来自其来源的石油一样,数据也经过类似的处理以提取其真正价值。 二、特征选…

数据结构——栈的详细介绍

数据结构——栈 一、栈的结构和概念二、 栈的两种构建方式①、用数组进行构建②、用链表进行构建 三、栈的创建四、栈的初始化五、栈的销毁六、压栈七、出栈八、判空九、获取栈顶元素十、获取栈的size 一、栈的结构和概念 栈:栈是一种特殊的线性表,其只…

【数据分享】全国1-5级流域、河流矢量数据与水体分布、五级水系数据、八级水系边界范围矢量数据

全国3级流域及各级河流数据:今天给大家分享的数据主要为五个,分别为3级流域、1级河流数据、3级以上河流数据以及4级和5级的河流数据。其中1级河流和3级以上河流数据中存在线状矢量以及面状的湖泊数据;4级和5级的河流数据仅为线状的河流矢量数据。数据中大…

Mysql 8.0主从复制模式安装(兼容Mysql 5.7)

Mysql V8.0.35安装 官网地址:MySQL :: Download MySQL Community Server 下载【Mysql 8.0.35】压缩包 解压压缩包,仅保留6个安装文件即可 mysql-community-client-8.0.31-1.el7.x86_64.rpm mysql-community-client-plugins-8.0.31-1.el7.x86_64.rpm my…

一文带你拿下MySQL之增删查改(基础)

✏️✏️✏️今天给各位带来的是关于数据库增删查改基础方面的知识。 清风的CSDN博客 😛😛😛希望我的文章能对你有所帮助,有不足的地方还请各位看官多多指教,大家一起学习交流! 动动你们发财的小手&#xf…

消息中间件——RabbitMQ(三)理解RabbitMQ核心概念和AMQP协议!

前言 本章学习,我们可以了解到以下知识点: 互联网大厂为什么选择RabbitMQ?RabbiMQ的高性能之道是如何做到的?什么是AMQP高级协议?AMQP核心概念是什么?RabbitMQ整体架构模型是什么样子的?Rabbi…

[译]JavaScript中Base64编码字符串的细节

本文作者为 360 奇舞团前端开发工程师 本文为翻译 原文标题:The nuances of base64 encoding strings in JavaScript 原文作者:Matt Joseph 原文链接:https://web.dev/articles/base64-encoding Base64编码和解码是一种常见的将二进制内容转…

【剪枝】torch-pruning的基本使用

论文:DepGraph: Towards Any Structural Pruning 工程:https://github.com/VainF/Torch-Pruning 算法和库的使用介绍:CVPR 2023 | DepGraph 通用结构化剪枝 1 TP的简介 该算法介绍了DepGraph 如何建模结构化剪枝中的层依赖,实现任…

redis的集群

高可用方案 1、持久化 2、高可用 主从复制 哨兵模式 集群 主从复制: 主从复制是redis实现高可用的基础,哨兵模式和集群都是在主从复制的基础之上实现高可用 主从复制实现数据的多机备份,以及读写分离(主服务器负责写,从服务器…

云HIS系统源码,医院管理系信息统源码,融合B/S版四级电子病历系统

医院管理信息系统是以推进公共卫生、医疗、医保、药品、财务监管信息化建设为着力点,整合资源,加强信息标准化和公共服务信息平台建设,逐步实现统一高效、互联互通的管理系统。 SaaS模式Java版云HIS系统,在公立二甲医院应用三年…

代餐粉产业分析:中国市场销售额增长至116.94亿元

近年来,随着人们生活节奏的加快和健康意识的增强,代餐粉市场规模逐渐壮大。在这个忙碌的时代,快捷、营养而又方便的代餐粉成为了许多人选择的首选。 随着健康理念的不断普及和推广,人们开始更加重视日常饮食的健康与营养。代餐粉作…