文章目录
- 一、HDFS的Shell介绍
- 二、了解HDFS常用Shell命令
- （一）三种Shell命令方式
- （二）FileSystem Shell文档
- （三）常用HDFS的Shell命令
- 三、HDFS常用命令操作实战
- （一）创建目录
- （二）查看目录
- （三）上传本地文件到HDFS
- （四）查看文件内容
- （五）下载HDFS文件到本地
- （六）删除HDFS文件
- （七）删除HDFS目录
- （八）移动目录或文件
- （九）文件合并下载
- （十）检查文件信息
- （十一）创建时间戳文件
- （十二）复制文件或目录
- （十三）查看文件大小
- （十四）查看某目录下文件个数
一、HDFS的Shell介绍
二、了解HDFS常用Shell命令
（一）三种Shell命令方式
（二）FileSystem Shell文档
（三）常用HDFS的Shell命令
| 序号 | 命令 | 功能 |
|---|---|---|
| 1 | hdfs dfs -ls <path> | 显示<path>指定的文件或目录的详细信息。 |
| 2 | hdfs dfs -ls -R <path> | ls命令的递归版本。 |
| 3 | hdfs dfs -cat <path> 将<path> | 指定文件的内容输出到标准输出。 |
| 4 | hdfs dfs chgrp [-R] group <path> | 将<path>指定文件所属的组改为group，使用-R对<path>指定目录内的文件进行递归操作。这个命令只适合于超级用户。 |
| 5 | hdfs dfs -chown [-R] [owner][:[group]] <path> | 改变<path>指定文件或目录的拥有者，-R用于递归改变目录内的文件或目录的拥有者。 这个命令只适合于超级用户。 |
| 6 | hdfs dfs -chmod [-R] <mode> <path> | 将<path>指定文件或目录的权限更改为<mode>。这个命令只适合于超级用户和文件或目录的拥有者。 |
| 7 | hdfs dfs -tail [-f] <path> 将<path> | 指定文件最后1KB的内容输出到标准输出上，-f选项用于持续检测新添加到文件中的内容。 |
| 8 | hdfs dfs -stat [format] <path> | 以指定格式返回<path>指定文件的相关信息。当不指定format的时候，返回文件<path>的创建日期。 |
| 9 | hdfs dfs -touchz <path> | 创建一个<path>指定的空文件。 |
| 10 | hdfs dfs -mkdir [-p] <paths> | 创建<paths>指定的一个或多个目录，-p选项用于递归创建子目录。 |
| 11 | hdfs dfs -copyFromLocal <localsrc> <dst> | 将本地源文件<localsrc>复制到路径指定的文件或目录中。 |
| 12 | hadoo fs -copyToLocal [-ignorcrc] [-crc] <target> <localdst> | 将目标文件<target>复制到本地文件或目录<localdst>中，可用-ignorecrc选项复制CRC校验失败的文件，使用-crc选项复制文件以及CRC信息。 |
| 13 | hdfs dfs -cp <src> <dst> | 将文件从源路径<src>复制到目标路径<dst>。 |
| 14 | hdfs dfs -du <path> | 显示<path>指定文件或目录内所有文件的大小。 |
| 15 | hdfs dfs -expunge | 清空回收站。 |
| 16 | hdfs dfs -get [-ignorcrc] [-crc] <src> <localdst> | 复制<src>指定的文件到本地文件系统<localdst>指定的文件或目录内，可用-ignorecrc选项复制CRC校验失败的文件，使用-crc选项复制文件以及CRC信息。 |
| 17 | hdfs dfs -getmerge [-nl] <src> <localdst> 对<src> | 指定目录内所有文件进行合并，写入<localdst>指定的本地文件。-nl是可选的，用于指定在每个文件结尾添加一个换行符。 |
| 18 | hdfs dfs -put <localsrc> <dst> | 从本地文件系统中复制<localsrc>指定的单个或多个源文件到<dst>指定的目标文件系统中。 |
| 19 | hdfs dfs moveFromLocal <localsrc> <dst> | 与put命令功能相同，但是文件上传结束后会从本地文件系统中删除<localsrc>指定的文件。 |
| 20 | hdfs dfs -mv <src> <dst> | 将文件或目录从源路径<src>移到目标路径<dst>。 |
| 21 | hdfs dfs -rm <path> | 删除<path>指定的文件或目录（非空目录）。 |
| 22 | hdfs dfs -rm -r <path> | 删除<path>指定的目录及其下的所有文件，-r选项表示递归删除子目录。 |
| 23 | hdfs dfs -setrep [-R] <path> | 改变<path>指定文件的副本数，-R选项用于递归改变目录下所有文件的副本数。 |
| 24 | hdfs dfs -test [-ezd] <path> | 检查<path>指定文件或目录的相关信息。 -e （exist）检查文件是否存在，如果存在则返回0，否则返回1 -z （zero）检查文件是否是零字节，如果是则返回0，否则返回1 -d（directory）检查路径是否是目录，如果是则返回0，否则返回1 |
| 25 | hdfs dfs -text <path>
| 指定的文件输出为文本格式，文件格式允许是zip和TextRecordInputStream。 |
三、HDFS常用命令操作实战
（一）创建目录
（二）查看目录
（三）上传本地文件到HDFS
（四）查看文件内容
（五）下载HDFS文件到本地
（六）删除HDFS文件
（七）删除HDFS目录
（八）移动目录或文件
（九）文件合并下载
（十）检查文件信息
（十一）创建时间戳文件
（十二）复制文件或目录
（十三）查看文件大小
（十四）查看某目录下文件个数
