文章目录
- 学习大数据命令的方式
- 查看文件
- 拷贝文件的方式
- 添加数据的方式
- 出现了问题
- 移动文件
- hadoop工作流程和工作机制的方式
- namenode
- datanode
- secondarynamenode(主节点)
学习大数据命令的方式
查看文件
hadoop fs -cat /test/2.txt
下载文件
hadoop fs -get -f /test/2.txt
-f 覆盖文件
-p 保留访问时间
拷贝文件的方式
hadoop fs -cp /test/2.txt /itcast
-f 覆盖文件
添加数据的方式
hadoop fs -appendToFile /test/3.txt 4.txt /itcast/2.txt
出现了问题
java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[192.168.126.159:9866,DS-ace40f67-a4fa-424c-afad-677c5a40ff0f,DISK], DatanodeInfoWithStorage[192.168.126.160:9866,DS-54ad354f-7255-411a-
先hdfs-site.xml中添加文件
<property>
<name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
<value>NEVER</value>
</property>
这个问题没有解决我们先看下一个
移动文件
hadoop fs -mv /test/name.txt /test02/
hadoop工作流程和工作机制的方式
namenode
作用: 维护管理目录结构，文件存储，访问权限
通过内存和磁盘管理数据
存储元数据，并不是存储实际数据
给定指定位置块的位置
不持久化数据的方式
datanode
负责具体的数据模块存储
负责最后数据存储的方式
secondarynamenode(主节点)
负责 配合主节点进行元数据整合
