大数据：HDFS存储原理，fsck命令查看文件副本状态，namenode元数据，edits流水账，fsimage合并，hdfs读取数据

2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开
测开的话，你就得学数据库，sql，oracle，尤其sql要学，当然，像很多金融企业、安全机构啥的，他们必须要用oracle数据库
这oracle比sql安全，强大多了，所以你需要学习，最重要的，你要是考网络警察公务员，这玩意你不会就别去报名了，耽误时间！
与此同时，既然要考网警之数据分析应用岗，那必然要考数据挖掘基础知识，今天开始咱们就对数据挖掘方面的东西好生讲讲最最最重要的就是大数据，什么行测和面试都是小问题，最难最最重要的就是大数据技术相关的知识笔试

文章目录

大数据：HDFS存储原理，fsck命令查看文件副本状态，namenode元数据，edits流水账，fsimage合并，hdfs读取数据
@[TOC](文章目录)

大数据：HDFS存储原理
fsck命令
namenode元数据
hdfs数据的读写流程
总结

大数据：HDFS存储原理

在这里插入图片描述

一个文件，分为part123
分别存储到服务器中

在这里插入图片描述
取回来呢
也是反向的合并即可

划分统一单位
hdfs中叫block块

大小可以修改

如果丢失了一个block怎么办？？？？

鸡蛋不要放在同一个篮子中
都有备份

有备份即可
安全

这就很清楚了对吧

fsck命令

在这里插入图片描述

默认3个
2个副本
不需要自己设置，基本上OK的

在这里插入图片描述
临时更改的命令
存在的文件，-setrep命令
-R命令

改了
1个副本了

fsck
files check简写，检查文件的副本个数

在这里插入图片描述

2个不同的服务器位置

健康的
无丢失
美滋滋

再看看1个副本的test_3呢
在这里插入图片描述

在102服务器上

本分好大啊
骚的
gg

都存在不同的机子上

一般我们不会修改的

namenode元数据

在这里插入图片描述

流水账
edits

用户想查询目标文件，gg
太慢了

你要整个文件都要找，确保最后一个命令骚操作，没有动它
流水账不行的，尴尬

把流水账合并
记录最终状态LRU即可
我们只记录最后的状态，即可

在这里插入图片描述

直接用fsimage搞定

俩都行
骚
这种是有点像那个啥了，垃圾清理策略
垃圾回收策略【python的】

用辅助角色搞定这个事情
secondarynamenode来搞定元数据的合并
美滋滋
edits流水账
fsimage合并流水账

hdfs数据的读写流程

在这里插入图片描述

数据写入hadoop服务器的流程
请求【client申请】
审核【namenode是老大】
给地址【去DataNode写数据】
发送数据，写【package】
备份【DataNode互相沟通，复制备份即可】
记录元数据【namenode的secondarynamenode】
结束
在这里插入图片描述
很简单的