块概念
目录
1.分块的原因
2.分块的大小 默认为128M
3.机架
4.在块的分布上
5.hadoop上传数据的步骤(重要)
6.读过程
1.分块的原因
存储的角度 分布式存储
计算角度 生产环境中 4G
2.分块的大小 默认为128M
块的大小不宜过大 也不宜过小 都会使查询速度变慢
3.机架
4.在块的分布上
当客户端,在某一台电脑上,那么,就会在当前电脑分布一个块,另外一块会在另外一机架上,第三块和第二块一样,第四块开时,就随机了,但能要保证不会在某个机架上过多。
5.hadoop上传数据的步骤(重要)
1)客户端和namenode联系
2)创建账本
3)获取一个输出流
4)datanode传递数据
5)datanode通过Pipeline向下一个datanode传递数据
6)如果有一个数据传递失败了 跳过
7)如果所有数据传输失败 那么namenode重新发送一份 重复上述操作