一.实验内容
HDFS编程实践:
1)使用HDFS文件操作的常用Shell命令;
2)利用Hadoop提供的Java API进行基本的文件操作。
二.实验目的
1、理解HDFS在Hadoop体系结构中的角色。
2、熟练使用HDFS操作常用的Shell命令。
3、熟悉HDFS操作常用的JavaAPI。
三.实验过程截图及说明
1、使用命令对文件进行基本的操作:
(1)创建一个text.txt文件并查看它的行数
(2)追加到原文件末尾
(3)使用HDFS命令创建一个文件夹,并查看是否创建成功:
(4)在本地创建一个文件,将其上传到HDFS:
(5)使用cat命令读取里面的内容:
(6)将HDFS中的文件拉取到本地上:
(7)删除刚刚上传到HDFS的文件:
2、使用Hadoop提供的javaAPI对文件进行基本的操作:
(1)安装配置好idea后,启动idea,创建一个maven项目,先导入需要用到的Hadoop的依赖:
(2)在source文件夹下创建com.ecjtu.hadoop包(一层一层创),接着在里面创建一个fileOP.java文件:
(3)引入需要用到的包:
(4)写一个创建文件的方法:
(5)编写一个写入文件的方法:
(6)编写一个读取文件信息的方法:
(7)编写一个删除文件的方法:
(8)最后写main方法,分别调用这四个方法,测试结果:
(9)点击运行,运行结果如下: