hadoop的本地模式
- 本地模式的特点
- 部署本地模式
- 测试本地模式是否部署完成
本地模式的特点
- 没有HDFS、也没有Yarn
- 只能测试MapReduce程序,作为一个普通的Java程序
- 处理的数据是本地Linux的文件
- 一般用于开发和测试
部署本地模式
进入该路径 /root/training/hadoop-2.7.3/etc/hadoop($HADOOP_HOME/etc/hadoop)找到hadoop-env.sh文件
对hadoop-env.sh文件进行编辑
vi hadoop-env.sh
在文件中,使用:set number显示出行号
找到第25行
将${JAVA_HOME}改成你自己的jdk的路径
export JAVA_HOME=/root/training/jdk1.8.0_181
本地模式已经部署完成了,下面进行测试
测试本地模式是否部署完成
先准备测试的数据
I love Beijing
I love China
Beijing is the capital of China
下面执行WordCount程序,会对上面的文件进行词频统计
该程序的jar包位置:
$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar
找到该jar包的位置(training/hadoop-2.7.3/share/hadoop/mapreduce/)
执行下面的命令
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /root/temp /root/output/wc
执行完成后,查看输出的结果