Linux操作系统——理解文件系统

预备知识

到目前为止,我们所学习到的关于文件的操作,全部都是基于文件被打开,被访问,访问期间比较重要的有重定向,缓冲区,一切皆文件,当我们访问完毕的时候需要将文件关闭,关闭时那也就是将对应的文件对象进行关闭,缓冲区该刷新刷新,该释放时释放,该清空清空,可是所有的动作都是基于内存级的,对于一个文件打开这种情况的一系列操作。

1.你的系统里可能有成千上万的文件,所有的文件都被打开了吗?

并不是所有的文件都会被打开,被打开的文件可能只有1/100,甚至1/500,甚至1/1000,就比如你系统里面有10000个文件,可能被打开的只有200个,还有9800多个根本就没有被打开。 

2.一个文件被打开了有刚刚所谈的那些操作,那么一个文件被打开之前,文件在哪里呢?

其实这些文件都在磁盘上进行保存。

那么问题就来了,其实我们在内存中那些被打开的文件本来相对整个系统的文件数目来说本来就占少数,这些文件都需要通过struct file这样的结构体进行管理起来,那么我们没有被打开的那些那么多的文件要不要被管理起来呢? 答案当然是要管理了,要不然fopen这个接口要打开一个文件为什么可以通过带路径之后找到这个文件再打开呢?

我们没有被打开的文件不仅要在磁盘上进行保存,还需要带有规律的进行保存,方便用户进行随时读取,其实就是方便用户随时打开,随时换出内存。

其实用我们生活中的例子也很容易理解,就比如你的衣服,并不是所有的衣服都是穿在身上的,而是身上穿一件,大部分衣服都是放在你的衣柜里面的,那么你的大部分衣服虽然没有穿,但是你要不要把这些衣服放好呢?也就是管理好呢?就在你哪天需要指定的某一件衣服的时候你管理起来了,那么你想找到这件衣服会很快速的知道它在哪里,那么如果你把衣服随便扔一个地方,当你需要的时候换那一身衣服的时候你会发现你很难找到,效率特别低,甚至可能找不到了。所以说你身上那套衣服是你正在使用的衣服,而没有穿在身上的那些衣服依然需要管理好。而对于这样对衣服进行管理的核心工作是什么?是为了快速定位你需要的衣服。也就是快速定位文件。那么管理好了之后就是怎么快速定位文件的问题了,那么在我们快速定位文件就需要谈及到路径了。

生活中的例子其实比比皆是,你们平常都有各种网购买东西,你们学校附件的菜鸟驿站都有来自各个学生的成千上万的快递,但是不是所有的快递都会及时的被同学们拿走,比如说你取你的快递,把你的快递取走打开了,你要使用这个快递了,叫做你打开这个文件了,但是大部分的快递还是暂时存在菜鸟驿站里面,那么剩下的这么多没有被访问的快递,菜鸟驿站的工作人员也需要将这些快递进行管理起来,如果快递就随便堆积如山,也不进行管理,那么如果有个人来取快递,那估计得找个大半天,那还不一定能找着。所以我们平常都有看到菜鸟驿站工作人员有给快递进行分类然后贴上对应的取件码,其实这个取件码就很像我们谈到的文件路径,我们通过取件码可以迅速找到自己的快递,同样我们也可以通过文件存放在磁盘上的路径对文件进行快速定位。我们菜鸟驿站工作人员所做的工作叫做文件系统,文件系统是我们操作系统的一个分支,操作系统有内存管理,进程管理,也有文件管理等等。

所以,我们可以把文件的管理工作总结为:

1.打开的文件进行管理

2.没有被打开的文件也要在磁盘中进行管理

这就是文件系统做的工作。

其实文件系统解决的是文件存储的问题,而我们的文件=内容+属性,所以进而转化成了对文件内容存储和对文件属性存储的问题。文件存储在磁盘中需要方便我们的操作系统/用户对文件进行增删查改。

而我们下面主要谈的是没有被打开的文件也要在磁盘中进行管理,下面我们需要先对磁盘硬件进行深入了解,也就是理解硬件的物理存储结构,然后对其进行逻辑抽象,来理解逻辑存储结构,最后来理解文件系统与操作系统之间的关系。

理解磁盘---硬件——物理存储结构

为什么要用磁盘来对文件进行存储呢?因为它便宜,容量大,所以大部分的公司企业就会大量使用。

如下是磁盘的图片

如下是侧视图:

如下是俯视图

一个盘面可以有很多的同心磁道,一圈磁道可以有很多扇形的扇区,扇区是磁盘的最小存储单元---512字节。其中如果你自己只想改变这一个扇区里面的一个比特位,你都必须把整个扇区加载到内存中,所以我们把磁盘这样的设备叫做块设备。如果我想向一个扇区写入,我们该如何寻址呢?

1.先选择哪一面? --- 本质选择磁头

2.选择该面上的哪一个磁道

3.选择在该该磁道的哪一个扇区

我们一般把这种定位方法叫做CHS定位法,既然我们可以向一个扇区写入,就可以向任意一个/多个扇区写入,甚至连续多个扇区式的写入,当然也可以随机写入。那么文件的存储问题就是文件的内容和属性的存储,而文件内容和属性的存储本质就是二进制数据的存储,所以文件的存储问题最终都会落在磁盘当中以扇区的形式为基本单元,把文件的属性和内容的数据全部都给我们保存好。这些文件的存储全部都是在磁盘盘片某一面上的某个磁道上的某个扇区上以512字节进行存储,如果你是一个比较大的文件,那你可能要存在多个扇区上,如果你是属性可能只需要一个512字节,如果是内容可能需要多个512字节,也可能只需要一个扇区。所以多个扇区里,有的可能存的是属性,有些可能存的是内容。

其实每个磁头都有编号,所以定位磁头不需要机械运动,而寻找磁道是通过磁头在盘面上左右转动,而盘面高速旋转是为了找到对应的扇区。这就是为什么磁头需要这么运动,然后盘面需要高速旋转。这就是CHS定位法的寻址原理。

理解逻辑抽象——逻辑存储结构

上图不知道小伙伴们有没有见过,它叫做磁带,磁带这玩意和那个光盘是同一个时代的产物,磁带是软性介质,里面是可以存储数据的,复读机里面也有马达,可以把磁带转起来,磁带去旋转的时候会有相应的硬件进行数据读取。

这种复读机可以把它打开,然后把磁带放进去,我们之前如果有见过磁带的小伙伴应该知道,他是有两个圈圈的,磁带从左边转到右边,转完的时候还可以取下来反一面倒着转,叫倒带。

磁带把那些黑色条状的东西拉出来就是上述第一张图那个样子,这个是软性介质,所以我们也可以把它拉的很长,拉的很直,卷起来就是同心圆的样子,拉直了就是一根长长的直线,磁盘的盘面卷起来就是圆状的。

所以呢,我们也可以把磁盘盘片想象成一个线性的空间

我们还可以把这一面继续进行划分,可以划分成很多的磁道,然后磁道也可以继续划分,划分成一片一片的扇区。

那么我们就可以把它逻辑抽象成以扇区为单位的数组,数组都是有下标的,那么我们假设从1~100000是第一面,100001~200000叫做第二面,第一面里面又可以化分成1~10000是第一个磁道,10001~20000是第二个磁道,每一面每一个磁道都是这么划分。所以我们对磁盘的管理就变成了对数组的管理。

假设寻找第123456个扇区的位置,那么我们首先寻找他在第几个面:123456/100000=1,也就是第2个面,然后123456%100000=23456,那么就是在第一个面的第23456个位置上。

那么我们就把我们的线性地址转化成了CHS地址。

操作系统可以按照扇区为单位进行存取,操作系统也可以基于文件系统,按照块为单位进行数据存取。其实操作系统以一个扇区为单位来进行访问有点小,为了提高一定的效率,所以进行了规定,以8个扇区为基本单位,也就是一个文件块来进行访问 (8*512 = 4096字节,也就是4KB)。从此往后我们只需要知道起始的地址,我们就可以访问8个扇区,我们把这种地址叫做LBA地址(Logical Block Address) 通过将这些LBA地址进行转化变成CHS地址就可以交给磁盘,磁盘就可以把数据写到对应的位置上了。

所以我们形成的最终的结论:对存储设备的管理在操作系统层面转换成了对(4KB blocks[])数组的增删查改。

理解文件系统与操作系统之间的关系

假设你的笔记本电脑有500GB大的磁盘空间,这个空间想要直接管理起来是非常困难的,就好比中国这么大的地方,我们叫中央政府来管理整个中国,那是不是很不现实,所以中国又分了很多个省,省里又分了很多个市,市里又分了一些小县城,所以我们会有区政府,市政府,省政府,所以这是在干什么呢?这不就是把一个很大的区域拆分成很多的小区域吗?大区域不好管,小区域好管对吧。所以呢,我们也可以按照这种做法,把磁盘的500GB进行拆分,拆分成100GB,100GB,100GB,100GB,100GB。所以呢我们要想把这500GB管好,只需要把这100GB管好就可以了,因为这些100GB都可以采用一样的管理方法进行管理,这个动作我们叫做分区。其实这个例子也随处可见,比如说我们自己的笔记本电脑,一般只有一块磁盘,而出现像C盘,D盘,E盘,F盘这种都是通过分区实现的,但是实际上只有一块磁盘。

然后我们还可以把这100GB划分成50个2GB的组(Group),也就是50组,那么管理好500GB也就变成了管理好一个组,也就是2GB的内容就可以了。这种思想就是大事化小的思想,分治法。

如上图所示,我们把这些组叫做块组,这些块组里面存的数据有两种,一种是我的文件信息,另一种是跟多的文件管理的数据。而我的文件信息包括内容和属性,这些都是数据,内容和属性分开存储。而在我们班级里面,除了有普通的学生,也有一些班干部,对班级进行管理的一些成员,我们步入学校不久,那么班级的管理者会很快就选出来,因为方便后续对班级进行管理,所以对一个分组来讲呢,在正式使用文件系统之前,我们一定要把每一个组当中的管理数据写入到块组当中,也就是说比如说使用了多大的空间,还剩多少空间等等这些数据是应该提前显示出来的。所以换句话说就是块组里面的各个分区都要先写入管理数据,我们把这个操作称之为格式化。

下面我们在Xhell里面新建文件和目录:

我们认识一条新的指令:

ls -li

我们发现它比ll多一条数据,这条数据都是数字,每一个文件对应的这个数字都不一样,我们把这条数据叫做文件的inode编号,一般情况下,一个文件一个inode,也就是说inode 每个文件都有。在整个分区具有唯一性,在Linux内核当中,识别文件和文件名无关,和inode有关。

而我们这张图对应的inode Table叫做i节点表:存放文件属性 如 文件大小,所有者,最近修改时间等。保存文件属性是通过inode来保存的,Linux内核中有一个inode的结构体:

struct inode

{

        大小,权限,拥有者,所属组,ACM时间,inode编号等。
}

这个结构体占128字节。

假设inodeTable里面有1000个4KB的文件块,那就是32000个inode,所以inode由于大小是固定的,所以inode在这张表里也很好定位,所以我想要知道inode在整张表的定位,我们只需要知道inode在整张表里的偏移量,所以给文件分配一个inode是很容易的,所以我们就可以把这张inode Table看成一个数组struct inode inode_table[N].

上图中的DataBlock是数据区:存放文件内容。

这些文件块都有对应的编号。其实inode结构体里面会维护一个int blocks[N]的数组,这个数组记录的是该inode对应的文件存放在数据区的文件内容所对应的文件块的编号,维持在一个数组里面,比如说该文件的文件内容存放在1,2,4编号的文件快中,那么就把这三个编号存在这个blocks数组中。

下面我们来谈inodeBitmap 表示 inode位图(inode Bitmap):每个bit表示一个inode是否空闲可用。比特位的位置表示inode编号,比特位的内容(0/1)表示对应的inode编号是否被使用。

块位图(Block Bitmap):Block Bitmap中记录着Data Block中哪个数据块已经被占用,哪个数据块没有被占用。比特位的位置表示Block编号,比特位的内容(0/1)表示对应的Block编号是否被使用。

Block Group:ext2文件系统会根据分区的大小划分为数个Block Group。而每个Block Group都有着相同的结构组成。政府管理各区的例子

超级块(Super Block):存放文件系统本身的结构信息。记录的信息主要有:bolck 和 inode的总量,未使用的block和inode的数量,一个block和inode的大小,最近一次挂载的时间,最近一次写入数据的时间,最近一次检验磁盘的时间等其他文件系统的相关信息。Super Block的信息被破坏,可以说整个文件系统结构就被破坏了

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/339021.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

Python 生成 图片网页列表 显示路径和建立时间 笔记

Python 一键 生成 图片网页列表 显示路径和建立时间 (方便查看复制路径、重复一键生成) 支持格式:jpg \png\ svg\ webp 图片网页列表 图示: 参考代码: # -*- coding: utf-8 -*- import os import datetime# 指定图片…

八股文学习日常第一期(20240121)

零、前言 1、目的 帮助掌握面试题,就八股文相关内容展开进行学习和整理,也方便之后的复习和巩固。 2、八股文内容来源 ①https://blog.csdn.net/w20001118/article/details/125724647 一、具体内容分析 1、类的完整书写方式 1.1、类 [Access Mod…

Stream toList不能滥用以及与collect(Collectors.toList())的区别

Stream toList()返回的是只读List原则上不可修改,collect(Collectors.toList())默认返回的是ArrayList,可以增删改查 1. 背景 在公司看到开发环境突然发现了UnsupportedOperationException 报错,想到了不是自己throw的应该就是操作collection不当。 发…

2.上传图片到Minio服务中

上传图片 界面原型 第一步: 用户在课程信息编辑界面可以上传课程图片或者修改上传的课程图片 第二步: 请求媒资管理服务将课程图片上传至分布式文件系统同时在媒资管理数据库保存文件信息,上传成功后返回图片在MinIO中的地址 第三步: 请求内容管理服务保存课程信息含课程封…

【网站项目】基于SSM的274办公自动化管理系统

🙊作者简介:多年一线开发工作经验,分享技术代码帮助学生学习,独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。🌹赠送计算机毕业设计600个选题excel文件,帮助大学选题。赠送开题报告模板&#xff…

【Linux系统编程】进程优先级

文章目录 1. 优先级的基本概念2. 为什么存在优先级3. 查看系统进程4. PRI and NI5. top命令修改已存在进程的nice值6. 其他概念 1. 优先级的基本概念 本篇文章讲解进程优先级,首先我们来了解一下进程优先级的概念: cpu资源分配的先后顺序,就…

burp靶场--访问控制【越权】

【Burp系列】超全越权漏洞实验总结 https://portswigger.net/web-security/access-control/lab-unprotected-admin-functionality 1. 访问控制【越权】 https://portswigger.net/web-security/access-control#what-is-access-control ### 什么是访问控制: 访问控…

php基础学习之常量

php常量的基本概念 常量是在程序运行中的一种不可改变的量(数据),常量一旦定义,通常不可改变(用户级别)。 php常量的定义形式 使用define函数:define("常量名字", 常量值);使用cons…

Mac NTFS 磁盘读写工具选哪个好?Tuxera 还是 Paragon?

在使用 Mac 电脑时,我们经常需要读写 NTFS 格式的硬盘或 U 盘。然而,由于 Mac 系统不支持 NTFS 格式的读写,因此我们需要借助第三方工具来实现这个功能。而在市场上,Tuxera 和 Paragon 是两款备受推崇的 Mac NTFS 磁盘读写工具。那…

GSP专版软件系统(医疗器械进销存)

产品概述 软件完全符合药监局GSP认证要求,可订制其它平台的数据对接; 业务流程清晰,操作简单合理,软件速度非常快; 完善的序列号(UDI)管理,并与整个系统融合在一起; 财务账和业务账完美结合; 可自定义的界面、布局管理;灵活的打印样式设计; 可…

有关软件测试的,任何时间都可以,软件测试主要服务项目:测试用例 报告 计划

有关软件测试的,任何时间都可以,软件测试主要服务项目: 1. 测试用例 2. 测试报告 3. 测试计划 4. 白盒测试 5. 黑盒测试 6. 接口测试 7.自动…

Vuex的基础使用

在使用之前要先了解Vuex的组成结构,跟对应的使用关系。 在上图的结构图中可以看到四个组成部分,首先是Components(组件)、Actions(行动)、Mutations(变化)、state(状态/数…

Mysql运维篇(三) MySQL数据库分库分表方案

一路走来,所有遇到的人,帮助过我的、伤害过我的都是朋友,没有一个是敌人,如有侵权请留言,我及时删除。 一、前言 关系型数据库本身比较容易成为系统瓶颈,单机存储容量、连接数、处理能力都有限。当单表的数…

【MySQL进阶】SQL优化

文章目录 SQL 优化主键优化数据组织方式页分裂页合并主键设计原则 insert优化order by优化group by优化limit优化count优化 SQL 优化 主键优化 数据组织方式 在InnoDB存储引擎中,表数据都是根据主键顺序组织存放的,这种存储方式的表称为索引组织表 在In…

【5G 接口协议】N2接口协议NGAP(NG Application Protocol)介绍

博主未授权任何人或组织机构转载博主任何原创文章,感谢各位对原创的支持! 博主链接 本人就职于国际知名终端厂商,负责modem芯片研发。 在5G早期负责终端数据业务层、核心网相关的开发工作,目前牵头6G算力网络技术标准研究。 博客…

PIG框架学习3——Redisson 实现业务接口幂等

零、前言 ​ 业务接口幂等问题是在开发中遇到的,如果对业务接口代码不进行幂等控制,并且在前端没有对请求进行限制的情况下,可能会出现多次对接口调用,导致错误异常的发生。就上述情况,对PIGX自带的业务接口幂等实现进…

无法找到mfc100.dll的解决方法分享,如何快速修复mfc100.dll文件

在日常使用电脑时,我们可能会碰到一些系统错误提示,比如“无法找到mfc100.dll”的信息。这种错误通常会阻碍代码的执行或某些应用程序的启动。为了帮助您解决这一问题,本文将深入探讨其成因,并提供几种不同的mfc100.dll解决方案。…

lv14 内核定时器 11

一、时钟中断 硬件有一个时钟装置,该装置每隔一定时间发出一个时钟中断(称为一次时钟嘀嗒-tick),对应的中断处理程序就将全局变量jiffies_64加1 jiffies_64 是一个全局64位整型, jiffies全局变量为其低32位的全局变量&#xff0…

三.Winform使用Webview2加载本地HTML页面

Winform使用Webview2加载本地HTML页面 往期目录创建Demo2界面创建HTML页面在Demo2窗体上添加WebView2和按钮加载HTML查看效果 往期目录 往期相关文章目录 专栏目录 创建Demo2界面 经过前面两小节 一.Winform使用Webview2(Edge浏览器核心) 创建demo(Demo1)实现回车导航到指定…

用立创EDA(专业版)设计原理图

简介 立创EDA,国产的EDA工具。 下载 官方下载链接 下载后,直接一直下一步,最后安装提示免费激活即可。 注意 嘉立创EDA专业版的数据和立创EDA标准版的数据不互通, 常用原理图绘制设置 开发流程 新建工程绘制PCB 文件->新…