目录
客户端环境准备：
添加环境变量：
配置Path环境变量：
IDEA操作：
创建包名：
HDFS的API案例操作：
封装代码：
封装代码1：
封装代码2：
实现操作：
1.创建目录：
2.上传文件
3.文件下载
4.文件的删除
5.文件的移动
6.查看hdfs上文件详情
7.文件和文件夹的判断
客户端环境准备：
尚硅谷资料包i中的文件复制到非中文路径
添加环境变量：
配置Path环境变量：
验证Hadoop环境变量是否正常。双击winutils.exe，如果报如下错误。说明缺少微软运行库（正版系统往往有这个问题）。再资料包里面有对应的微软运行库安装包双击安装即可
IDEA操作：
新建maven项目工程
让后设置换你的maven库（换成你本机上的阿里，不然有些依赖你是下载不下来的，而且下载慢）
导入maven依赖
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<groupId>org.example</groupId>
<artifactId>HDFSClient</artifactId>
<version>1.0-SNAPSHOT</version>
<properties>
<maven.compiler.source>8</maven.compiler.source>
<maven.compiler.target>8</maven.compiler.target>
</properties>
<dependencies>
<dependency>
<groupId>org.apache.hadoop</groupId>
<artifactId>hadoop-client</artifactId>
<version>3.1.3</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
<version>1.7.30</version>
</dependency>
</dependencies>
</project>在项目的src/main/resources目录（该目录主要放置配置文件 ，页面文件 、静态资源文件）下，新建一个文件，命名为“log4j.properties”，该文件与日志相关，在文件中填入
log4j.rootLogger=INFO, stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n创建包名：
com.xxx.hdfs
创建HdfsClient类
HDFS的API案例操作：
现在本人已经完成了部分API操作，先描述一下HdfsClient类的分布
因为HDFS的API操作会有很多冗余代码，所以我们对他进行了封装，
封装代码：
封装代码1：
这个代码主要是Java连接集群，获取集群的配置文件，并且获取客户端连接对象，使用注解@Before (不懂注解的可以看我的另一篇文章 点击直接跳转，在这不多做解释 注解讲解 )便于后续的使用
封装代码2：
这个代码主要用于关闭资源，就是把一个简单的close 进行了封装 使用注解 @After 同上不做解释，需要的话跳转另一篇文章
实现操作：
1.创建目录：
使用注解@Test进行测试，调用的还是Linux中的mkdir 让客户端连接对象进行调用（**注意 这里 客户端连接对象要在类的上方使用private进行定义，方便在下方方法中的调用）
@Test
public void testmkdir() throws Exception{
//此时window与namenode 节点的虚拟机已经连接成功 执行命令，创建文件夹
fs.mkdirs(new Path("/xiyou"));
}2.上传文件
通过客户端远程访问hdfs 上传文件
copyFromLocalFile方法用于上传数据 参数1： 删除原数据 参数2： 是否允许覆盖（原文件存在） 参数3： 原数据路径(本地路径) 参数4：目的地路径
@Test
public void testput() throws IOException {
//参数1： 删除原数据 参数2： 是否允许覆盖（原文件存在） 参数3： 原数据路径(本地路径) 参数4：目的地路径
fs.copyFromLocalFile(false,true,new Path("D:\\Hadoop3.1.3.txt\\"),new Path("hdfs://hadoop102/xiyou/huaguoshan"));
}3.文件下载
hdfs下载到window本地
copyToLocalFile方法用于下载文件 参数解析 1：原文件是否删除 2.原文件hdfs的路径 3.目标地址路径 4. false 是开启crc校验 true 是不开启
@Test
public void testGet() throws Exception {
// 参数解析 1：原文件是否删除 2.原文件hdfs的路径 3.目标地址路径 4. false 是开启crc校验 true 是不开启
fs.copyToLocalFile(false,new Path("hdfs://hadoop102/jinguo/shuguo.txt"),new Path("D:\\jinchao"),false);
}4.文件的删除
文件的删除分为：删除非空目录，删除空目录
delete方法删除文件，当问及那非空的时候必须递归删除
fs.delete(new Path("hdfs://hadoop102/xiyou"),true);delete删除空目录的时候可以不是递归删除
fs.delete(new Path("/xiyou"));
整体代码：
@Test
public void testRm() throws Exception {
// 1. 要删除的路径 2 是否递归路径
fs.delete(new Path("hdfs://hadoop102/xiyou"),true);
// 删除空目录 不需要递归
fs.delete(new Path("/xiyou"));
// 删除非空目录 必须递归删除
}5.文件的移动
文件移动分为很多，根据参数的不同，做出不同的操作，都是调用rename方法
代码注释有详细解释
@Test
public void testmv() throws IOException {
// 对文件的移动 1.原文件路径 2.目标路径
// fs.rename(new Path("/jinguo/shuguo.txt"),new Path("/output"));
// 修改文件的名称
// fs.rename(new Path("/output/shuguo.txt"),new Path("/output/reshuguo.txt"));
//修改名称并且移动位置
// fs.rename(new Path("/output/reshuguo.txt"),new Path("/jinguo/shuguo.txt"));
// 目录更名
fs.rename(new Path("/outputtwo"),new Path("/output2"));
}6.查看hdfs上文件详情
查看hdfs上文件详情 比如
文件名称 权限 长度 块信息
@Test
public void testListFiles() throws IOException {
//参数 1.需要查看文件的路径 2.是否递归
//返回迭代器 递归 相当于栈 后进先出 递归是从底层向上进行遍历 针对的是文件不是目录
// fileStatus 返回的是数组
//listFiles 返回的是迭代器
RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);
while(listFiles.hasNext()) {
LocatedFileStatus fileStatus = listFiles.next();
System.out.println("======"+fileStatus.getPath()+"=====");
System.out.println(fileStatus.getPermission());
System.out.println(fileStatus.getOwner());
System.out.println(fileStatus.getGroup());
System.out.println(fileStatus.getLen());
System.out.println(fileStatus.getModificationTime());
System.out.println(fileStatus.getReplication());
System.out.println(fileStatus.getBlockSize());
System.out.println(fileStatus.getPath().getName());
//查看块的存储信息--（备份）存储在那几个服务器上
BlockLocation[] blockLocations = fileStatus.getBlockLocations();
System.out.println(Arrays.toString(blockLocations));
}
}调用方法的解释：
先解释参数： 1.需要查看文件的路径 2.是否递归
返回值：返回的形式是迭代器（迭代器是一种设计模式，官方话不多数，说一下自己的理解可能不贴切---个人认为迭代器就像把数据封装成一个数据库一样，包含各种属性，每一条信息就是一个元组）
获取迭代器后就是迭代器的操作了
7.文件和文件夹的判断
文件和文件夹的判断也分为两种，一种是可迭代的，一种是不可迭代的
个人感觉还是使用迭代器进行递归判断操作方便一点
下边有两种 一种利用迭代器进行递归判断，一种是非递归判断
@Test
public void testFile() throws IOException {
//可迭代判断
RemoteIterator<LocatedFileStatus> locatedFileStatusRemoteIterator = fs.listFiles(new Path("/"), true);
while(locatedFileStatusRemoteIterator.hasNext())
{
LocatedFileStatus next = locatedFileStatusRemoteIterator.next();
if (next.isFile()) {
System.out.println("这是文件"+next.getPath().getName());
}
else
{
System.out.println("这是目录"+next.getPath().getName());
}
}
// 不可迭代判断
// FileStatus[] fileStatuses = fs.listStatus(new Path("/"));
// for (FileStatus fileStatus : fileStatuses) {
// if (fileStatus.isFile()) { //判断fileStatus是否是文件
//
// System.out.println("这是文件"+fileStatus.getPath().getName());
//
// }
// else
// {
// System.out.println("这是目录"+fileStatus.getPath().getName());
// }
