hadoop第3课(hdfs shell常用命令)

一、Hadoop FS 基础操作命令

1. 查看帮助
hadoop fs -help [命令名]  # 查看具体命令的帮助文档
# 示例:
hadoop fs -help mkdir
2. 目录操作
hadoop fs -mkdir /path          # 创建目录
hadoop fs -mkdir -p /path/a/b   # 递归创建多级目录
hadoop fs -rmdir /path          # 删除空目录
3. 文件操作
hadoop fs -put local_file /hdfs_path   # 上传本地文件到HDFS
hadoop fs -get /hdfs_file local_path   # 下载HDFS文件到本地
hadoop fs -cat /hdfs_file              # 查看文件内容
hadoop fs -tail /hdfs_file             # 查看文件尾部内容
hadoop fs -text /hdfs_file             # 查看文件内容(自动解压)
hadoop fs -cp /src /dest               # 复制文件/目录
hadoop fs -mv /src /dest               # 移动文件/目录
hadoop fs -rm /file                    # 删除文件
hadoop fs -rm -r /directory            # 递归删除目录
4. 查看目录/文件信息
hadoop fs -ls /path          # 列出目录内容
hadoop fs -ls -h /path       # 友好格式显示文件大小(KB/MB/GB)
hadoop fs -ls -R /path       # 递归列出子目录
hadoop fs -du -h /path       # 查看目录/文件占用空间
hadoop fs -stat /file        # 查看文件详细信息

二、权限管理

hadoop fs -chmod 755 /path        # 修改权限(八进制模式)
hadoop fs -chmod -R a+rwx /path   # 递归修改权限(符号模式)
hadoop fs -chown user:group /path # 修改文件所属用户和组
hadoop fs -chgrp group /path      # 修改文件所属组

三、集群管理与状态查询

hadoop fs -df -h          # 查看HDFS存储空间使用情况
hadoop fs -du -h /path    # 统计目录占用空间
hadoop fs -count /path    # 查看目录下的文件/目录数量
hadoop fsadmin -safemode enter  # 进入安全模式(管理员)
hadoop fsadmin -safemode leave  # 退出安全模式(管理员)

四、高级功能

1. 回收站操作(需开启回收站功能)
hadoop fs -rm -skipTrash /file   # 直接删除(不进入回收站)
# 默认删除操作会移动到回收站(路径:/user/${username}/.Trash)
2. 文件归档(HAR)
hadoop fs -archive -archiveName myhar.har -p /src /dest  # 创建归档文件
hadoop fs -ls har:///myhar.har   # 查看归档内容
3. 设置副本数
hadoop fs -setrep -w 2 /file   # 修改副本数为2(-w表示等待完成)

五、注意事项

  1. hadoop fs 是通用命令,兼容HDFS和其他Hadoop支持的文件系统。
  2. 删除目录时需谨慎使用 -rm -r,建议先确认路径。
  3. 安全模式操作需管理员权限。

结语

掌握这些 hadoop fs 命令是Hadoop开发与运维的基础,建议结合实践场景多操作演练。后续可深入学习HDFS架构与API开发技巧!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/984002.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

支持向量简要理解

决策方程符合感知机区分理论,我们基于线性代数来看这满足子空间理论,可以获取得到超平面。 支持向量机的目标是寻找最与超平面最近的点的最大距离,而距离计算如上,符合数学上计算点到线(面)的距离公式。 …

USB2.0 学习(1)字段和包

目录 1 字段 1.1 包识别字段PID 1.2 地址字段 1.3帧号字段 1.4 数据字段 1.5 CRC字段 2 包 2.1令牌包 2.2帧起始包 2.3数据包 2.4SPLIT包(分割事务包) 2.5握手包 参考 USB包的构成是一个逐层的过程,首先这些串行数据按照特定的规则构成字段,字段是构成包的基本…

AI 人工智能深度解析:从基础到前沿,全面掌握未来科技

AI 人工智能深度解析:从基础到前沿,全面掌握未来科技 前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,可以分享一下给大家。点击跳转到网站。 https://www.captainbed.cn/ccc 文章目录 AI 人工智能深度解析…

2025-03-09 学习记录--C/C++-PTA 习题11-1 输出月份英文名

合抱之木&#xff0c;生于毫末&#xff1b;九层之台&#xff0c;起于累土&#xff1b;千里之行&#xff0c;始于足下。&#x1f4aa;&#x1f3fb; 一、题目描述 ⭐️ 裁判测试程序样例&#xff1a; #include <stdio.h>char *getmonth( int n );int main() {int n;char …

【音视频 | AAC】AAC编码库faac介绍、使用步骤、例子代码

&#x1f601;博客主页&#x1f601;&#xff1a;&#x1f680;https://blog.csdn.net/wkd_007&#x1f680; &#x1f911;博客内容&#x1f911;&#xff1a;&#x1f36d;嵌入式开发、Linux、C语言、C、数据结构、音视频&#x1f36d; &#x1f923;本文内容&#x1f923;&a…

macos 程序 运行

sudo xattr -r -d com.apple.quarantine [/Applications/Name]使用stow 管理配置文件

JavaWeb后端基础(7)AOP

AOP是Spring框架的核心之一&#xff0c;那什么是AOP&#xff1f;AOP&#xff1a;Aspect Oriented Programming&#xff08;面向切面编程、面向方面编程&#xff09;&#xff0c;其实说白了&#xff0c;面向切面编程就是面向特定方法编程。AOP是一种思想&#xff0c;而在Spring框…

STM32驱动OLED屏幕全解析:从原理到温度显示实战(上) | 零基础入门STM32第五十三步

主题内容教学目的/扩展视频OLED显示屏重点课程电路原理&#xff0c;手册分析&#xff0c;驱动程序。初始化&#xff0c;清屏&#xff0c;ASCII字库&#xff0c;显示分区。调用显示函数。做带有加入图形和汉字显示的RTC时钟界面。讲字库的设计原理。 师从洋桃电子&#xff0c;杜…

基于YOLO11深度学习的运动品牌LOGO检测与识别系统【python源码+Pyqt5界面+数据集+训练代码】

《------往期经典推荐------》 一、AI应用软件开发实战专栏【链接】 项目名称项目名称1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】3.【手势识别系统开发】4.【人脸面部活体检测系统开发】5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】7.【…

ctfshow做题笔记—栈溢出—pwn65~pwn68

目录 前言 一、pwn65(你是一个好人) 二、pwn66(简单的shellcode&#xff1f;不对劲&#xff0c;十分得有十二分的不对劲) 三、pwn67(32bit nop sled)&#xff08;确实不会&#xff09; 四、pwn68(64bit nop sled) 前言 做起来比较吃力哈哈&#xff0c;自己还是太菜了&…

【新手指南】pyqt可视化远程部署deepseek7B蒸馏版模型

本地效果&#xff1a;&#xff08;如果想做这个的本科毕设&#xff0c;建议美化界面。&#xff09; 总结&#xff1a;MobaXterm远程连接autodl服务器&#xff0c;在MobaXterm上利用X11转发使pyqt可视化页面在自己的电脑上展现出来。 1. 官网下载MobaXterm MobaXterm free Xse…

SpringBoot(一)--搭建架构5种方法

目录 一、⭐Idea从spring官网下载打开 2021版本idea 1.打开创建项目 2.修改pom.xml文件里的版本号 2017版本idea 二、从spring官网下载再用idea打开 三、Idea从阿里云的官网下载打开 ​编辑 四、Maven项目改造成springboot项目 五、从阿里云官网下载再用idea打开 Spri…

DeepSeek×博云AIOS:突破算力桎梏,开启AI普惠新纪元

背景 在全球人工智能技术高速迭代的背景下&#xff0c;算力成本高企、异构资源适配复杂、模型部署效率低下等问题&#xff0c;始终是制约企业AI规模化应用的关键。 DeepSeek以创新技术直击产业痛点&#xff0c;而博云先进算力管理平台AIOS的全面适配&#xff0c;则为这一技术…

JVM垃圾回收面试题及原理

1. 对象什么时候可以被垃圾器回收 如果一个或多个对象没有任何的引用指向它了&#xff0c;那么这个对象现在就是垃圾&#xff0c;如果定位了垃圾&#xff0c;则有可能会被垃圾回收器回收 如果要定位什么是垃圾&#xff0c;有两种方式来确定 引用计数法可达性分析算法 1.1 …

计算机视觉算法实战——老虎个体识别(主页有源码)

✨个人主页欢迎您的访问 ✨期待您的三连 ✨ ✨个人主页欢迎您的访问 ✨期待您的三连 ✨ ✨个人主页欢迎您的访问 ✨期待您的三连✨ ​ ​​​ 1. 领域介绍 老虎个体识别是计算机视觉中的一个重要应用领域&#xff0c;旨在通过分析老虎的独特条纹图案&#xff0c;自动识别和区…

[Kubernetes] 7控制平面组件

1. 调度 kube- scheduler what 负责分配调度pod到集群节点监听kube-apiserver,查询未分配node的pod根据调度策略分配这些pod&#xff08;更新pod的nodename&#xff09;需要考虑的因素&#xff1a; 公平调度&#xff0c;资源有效利用&#xff0c;QoS&#xff0c;affinity, an…

AI赋能Python零代码编程知识技能体系构架

欢迎大家订阅本专栏&#xff0c;下面我先介绍一下本专栏模块结构与知识技能体系。 以下是为您设计的《AI赋能Python零代码编程》专栏目录框架及内容建议&#xff0c;每个方向均包含系列文章规划&#xff1a; 模块一&#xff1a;开发环境搭建 手把手搭建Python全栈开发环境 A…

基于AMD AU15P FPGA的SLVS-EC桥PCIe设计方案分享

作者&#xff1a;Hello,Panda 各位FPGAer周末愉快&#xff0c;今天熊猫君分享一个基于AMD AU15P FPGA的SLVS-EC桥PCIe设计方案。 一、方案背景 先说方案的应用背景&#xff1a;众所周知&#xff0c;较为上层的如基于AI的机器视觉应用&#xff0c;大多基于高端的专用SoC、AI专…

二叉树-二叉树的右视图

二叉树的右视图 给定一个二叉树的 根节点 root&#xff0c;想象自己站在它的右侧&#xff0c;按照从顶部到底部的顺序&#xff0c;返回从右侧所能看到的节点值。输入&#xff1a;二叉树的根结点 输出&#xff1a;整型列表 思路&#xff1a;使用层序遍历&#xff0c;建立二元列…

【C++】vector(下):vector类的模拟实现(含迭代器失效问题)

文章目录 前言一、vector类的常用接口的模拟实现1.头文件&#xff08;my vector.h&#xff09;整体框架2.模拟实现vector类对象的常见构造3.模拟实现vector iterator4.模拟实现vector类对象的容量操作5.模拟实现vector类对象的访问6.模拟实现vector类对象的修改操作 二、vector…