第四章 文件管理

4.1文件系统基础

4.1.1 文件的基本概念

文件的属性

文件名：由创建文件的用户决定文件名，主要是为了方便用户找到文件，同一目录下不允许有重名文件。
标识符：一个系统内的各文件标识符唯一，对用户来说毫无可读性，因此标识符只是操作系统用于区分各个文件的一种内部名称。
类型：指明文件的类型
位置：文件存放的路径（让用户使用）、在外存中的地址（操作系统使用，对用户不可见）
大小：指明文件大小
创建时间、上次修改时间、文件所有者信息
保护消息：对文件进行保护的访问控制信息

无结构文件（如文本文件）-- 由一些二进制或字符流组成，又称“流式文件”
有结构文件（如数据库表）-- 由一组相似的记录组成，又称“记录式文件”
记录是一组相关数据项的集合
数据项是文件系统中最基本的数据单位

文件的逻辑结构

有结构文件中，各个记录间应该如何组织的问题—是“文件的逻辑结构”重点要探讨的问题

所谓的“目录”其实就是我们熟悉的“文件夹”
用户可以自己创建一层一层的目录，各层目录中存放相应的文件。系统中的各个文件就通过一层一层的目录合理有序的组织起来了
目录其实也是一种特殊的有结构文件（由记录组成），如何实现文件目录是之后会重点探讨的问题

操作系统向上提供的功能

可以“创建文件”，（点击新建后，图形化交互进程在背后调用了“create系统调用”）
可以“读文件”，将文件数据读入内存，才能让CPU处理（双击后，“记事本”应用程序通过操作系统提供的“读文件”功能，即read系统调用，将文件数据从外存读入内存，并显示在屏幕上）
可以“写文件”，将更改过的文件数据写回外存（我们在“记事本”应用程序中编辑文件内容，点击“保存”后，“记事本”应用程序通过操作系统提供的“写文件”功能，即write系统调用，将文件数据从内存写回外存）
可以“删除文件”（点了“删除”之后，图形化交互进程通过操作系统提供的“删除文件”功能，即delete系统调用，将文件数据从外存中删除）

读/写文件之前，需要“打开文件”；读/写文件结束之后，需要“关闭文件”
可用几个基本操作完成更复杂的操作，比如：“复制文件”：先创建一个新的空文件，再把源文件读入内存，再将内存中的数据写到新文件中

文件共享：使多个用户可以共享使用一个文件
文件保护：如何保证不通过的用户对文件有不同的操作权限

文件如何存放在外存

与内存一样，外存也是由一个个存储单元组成的，每个存储单元可以存储一定量的数据（如1B）。每个存储单元对应一个物理地址
类似于内存分为一个个“内存块”，外存会风味儿一个个“块/磁盘块/物理块”。每个磁盘块的大小是相等的，每块一般包含2的整数幂个地址）同样类似的是，文件的逻辑地址也可以分为（逻辑块号，块内地址）的形式。块内地址的位数取决于磁盘块的大小
操作系统以“块”为单位为文件分配存储空间，因此即使一个文件大小只有10B，但它依然需要占用1KB的磁盘块。外存中的数据读入内存时同样以块为单位

4.1.2 文件的逻辑结构

所谓的“逻辑结构”，就是指在用户看来，文件内部的数据应该是如何组织起来的。而“物理结构”指的是在操作系统看来，文件的数据是如何存放在外存中的。

类似于数据结构的“逻辑结构”和“物理结构”

根据各条记录的长度（占用的存储空间）是否相等，又可分为定长记录和可变长记录两种。

顺序文件

顺序文件：文件中的记录一个接一个地顺序排列（逻辑上），记录可以是定长的或可变长的。各个记录在物理上可以顺序存储或链式存储
顺序存储–逻辑上相邻的记录物理上也相邻（类似于顺序表）
链式存储–逻辑上相邻的记录物理上不一定相邻（类似于链表）


结论：定长记录的顺序文件，若物理上采取顺序存储，则可实现随机存储；若能再保证记录的顺序结构，则可实现快速检索（即根据关键字快速找到对应记录）
[注]：一般来说，考试题目中所说的“顺序文件”指的是物理上顺序存储的顺序文件。
可见，顺序文件的缺点是增加/删除一个记录比较困难（如果是串结构则相对简单）

索引文件

索引表本身是定长记录的顺序文件。因此可以快速找到第i个记录对应的索引项。
可将关键字作为索引号内容，若按关键字顺序排列，则还可以支持按照关键字折半查找
每当要增加/修改一个记录时，需要对索引表进行修改。由于索引文件有很快的检索速度，因此主要用于对信息处理的及时性要求比较高的场合。

另外，可以用不同的数据项建立多个索引表。

索引顺序文件

索引顺序文件是索引文件和顺序文件思想的结合。索引顺序文件中，同样会为文件建立一张索引表，但不同的是：并不是每个记录对应一个索引表项，而是一组记录对应一个索引表项。


为了进一步提高检索效率，可以为顺序文件建立多级索引表。

4.1.3 文件目录

优点：文件之间的组织结构清晰，易于查找；编程时也可以很方便地用文件路径找到一个文件

文件控制块

目录文件中的一条记录就是一个“文件控制块”（FCB）
FCB的有序合集称为“文件目录”，一个FCB就是一个文件目录项
FCB中包含了文件的基本信息（文件名、物理地址、逻辑结构、物理结构等），存取控制信息（是否可读/可写、禁止访问的用户名单等），使用信息（如文件的建立时间、修改时间等）
最重要，最基本的还是文件名、文件存放的物理地址

FCB实现了文件名和文件之间的映射。使用户（用户程序）可以按照“按名存取”

FCB需要对目录进行哪些操作？
搜索：当用户要使用一个文件时，系统要根据文件名搜索目录，找到该文件对应的目录项
创建文件：创建一个新文件时，需要在其所属的目录中增加一个目录项
删除文件：当删除一个文件时，需要在目录中删除对应的目录项
显示目录：用户可以请求显示目录的内容，如显示该目录中的所有文件及相应属性
修改目录：某些文件属性保存在目录中，因此这些属性变化时需要修改相应的目录项

单级目录结构

早期操作系统并不支持多级目录，整个系统中只建立一张目录表，每个文件占一个目录项

单级目录实现了“按名存取”，但是不允许文件重名
在创建一个文件时，需要先检查目录表中有没有重名文件，确定不重名后才能允许建立文件，并将新文件对应的目录项插入目录表中。

两级目录结构

早期的多用户操作系统，采用两级目录结构。分为主文件目录和用户文件目录

允许不同用户的文件重名。文件名虽然相同，但是对应的其实是不同的文件

两级目录结构允许不同用户的文件重名，也可以在目录上实现访问限制（检查此时登录的用户名是否匹配）。但是两级目录结构依然缺乏灵活性，用户不能对自己的文件进行分类

多级目录结构 又称树形目录结构

用户（或用户进程）要访问某个文件时要用文件路径名标识文件，文件路径名是个字符串。各级目录之间用“/”隔开，从根目录出发的路径称为绝对路径。
系统根据绝对路径一层一层地找到下一级目录。刚开始从外存读入根目录的目录表；找到“照片”目录的存放位置后，从外存读入对应的目录表；再找到目录的存放位置，再从外存读入对应的目录表；最后才找到文件的存放位置。在上图中找到自拍文件，整个过程需要3次读磁盘I/O操作。
很多时候，用户会连续访问同一目录内的多个文件。显然，每次都从根目录开始查找，是很低效的。因此可以设置一个“当前目录”。
当用户想要访问某个文件时，可以使用从当前目录出发的“相对路径”，在LInux中，“.”表示当前目录
引入“当前目录”和“相对路径”后，磁盘I/O的次数减少了。这就提升了访问文件的效率

树形目录结构可以很方便地对文件进行分类，层次结构清晰，也能够更有效地进行文件的管理和保护。但是，树形结构不便于实现文件的共享。为此，提出了“无环图目录结构”

无环图目录结构

可以用不同的文件名指向同一个文件，甚至可以指向同一个目录（共享同一目录下的所有内容）
需要为每个共享节点设置一个共享计数器，用于记录此时有多少个地方在共享该节点。用户提出删除节点的请求时，只是删除该用户的FCB、并使共享计数器减一，并不会直接删除共享节点。
只有共享计数器减为0时，才删除节点
注意：共享文件不同于复制文件。在共享文件中，由于各用户指向的是同一个文件，因此只要其中一个用户修改了文件数据，那么所有用户都可以看到文件数据的变化。

索引节点（FCB的改进）

可以显著提升文件检索速度

当找到文件名对应的目录项时，才需要将索引结点调入内存，索引结点中记录了文件的各种信息，包括文件再外存中的存放位置，根据“存放位置”即可找到文件
存放在外存中的索引结点称为“磁盘索引结点”，当索引结点放入内存后称为“内存索引结点”
相比之下内存索引结点中需要增加一些信息

4.1.4 文件的物理结构

（文件的分配方式）

文件块、磁盘块

类似于内存分页，磁盘中的存储单元也会被分为一个个“块/磁盘块/物理块”。很多操作系统中，磁盘块的大小与内存块、页面的大小相同


在内存管理中，进程的逻辑地址空间被分为一个一个页面
同样的，在外存管理中，为了方便对文件数据的管理，文件的逻辑地址空间也被分为了一个一个的“文件块”
于是文件的逻辑地址也可以表示为（逻辑块号，块内地址）的 形式

操作系统为文件分配存储空间都是以块为单位的
用户通过逻辑地址来操作自己的文件，操作系统要负责实现从逻辑地址到物理地址的映射

文件分配方式–连续分配

连续分配方式要求每个文件在磁盘上占有一组连续的块
（逻辑块号，块内地址）-》（物理块号，块内地址）。只需转换块号块内地址保持不变

文件目录中记录存放的起始块号和长度（总共占用几个块）

用户给出要访问的逻辑块号，操作系统找到该文件对应的目录项（FCB）
物理块号 = 起始块号+ 逻辑块号
当然，还需要检查用户提供的逻辑块号是否合法（逻辑块号>=长度就不合法）

可以直接算出逻辑块号对应的物理块号，因此连续分配支持顺序访问和直接访问（即随机访问）

读取某个磁盘块时，需要移动磁头。访问的两个磁盘块相隔越远，移动磁盘所需时间就越长。
结论：连续分配的问价你在顺序读写时速度最快
物理上采用连续分配，存储空间利用率低，会产生难以利用的磁盘碎片
可以用紧凑来处理碎片，但是需要耗费很大的时间代价

连接分配–隐式链接

链接分配–显式链接

把用于链接文件各物理块的指针显式地存放在一张表中。即文件分配表（FAT）
注意：一个磁盘仅设置一张FAT。开机时，将FAT读入内存，并常驻内存。FAT的各个表项在物理上连续存储，且每一个表项长度相同，因此“物理块号”字段可以是隐藏的

问：如何实现文件的逻辑块号到物理块号的转变
用户给出要访问的逻辑块号i，操作系统找到该文件对应的目录项（FCB）
从目录项中找到起始块号，若i>0，则查询内存中的文件分配表FAT，往后找到i号逻辑块对应的物理块号。逻辑块号转换成物理块号的过程不需要读磁盘操作

结论：采用链式分配（显式链接）方式的文件，支持顺序访问，也支持随机访问（想访问i号逻辑块时，并不需要依次访问之前的0~i-1号逻辑块），由于块号转换的过程不需要访问磁盘，因此相比于隐式链接来说，访问速度快很多

显然，显示链接也不会产生外部碎片，也可以很方便地对文件进行拓展

考试中默认是隐式链接的链接分配

索引分配

索引分配允许文件离散地分配在各个磁盘块中，系统会为每个文件建立一张索引表，索引表中记录了文件的各个逻辑块对应的物理块（索引表的功能类似于内存管理中的页表–建立逻辑页面到物理页之间的映射关系）。索引表存放的磁盘块称为索引块。文件数据存放的磁盘块称为数据块。

问题：如何实现文件的逻辑块号到物理块号的转换
用户给出要访问的逻辑块号i，操作系统找到该文件对应的目录项（FCB）。。。
从目录项中可知索引表存放位置，将索引表从外存读入内存，并查找索引表即可只i好逻辑块在外存中的存放位置。
可见，索引分配方式可以支持随机访问，文件拓展也很容易实现（只需要给文件分配一个空闲块，并增加一个索引表项即可）

问题：如果文件大小对应的索引项超过一个磁盘块所能存放的索引项
三种解决方案：连接方案、多层索引、混合索引

1. 链接方案：如果索引表太大，一个索引块装不下，那么可以将多个索引块链接起来存放
   
2. 多层索引：建立多层索引（原理类似于多级页表）。使第一层索引块指向第二层的索引块。还可根据文件大小的要求再建立第三层、第四层索引块
   
   采用K层索引结构，且顶级索引表未调入内存，则访问一个数据块只需要K+1次读磁盘操作
3. 混合索引：多种索引分配方式的结合。例如，一个文件的顶级索引表中，即包含直接地址索引（直接指向数据块），又包含一级间接索引（指向单层索引表）、还包含两级间接索引（指向两层索引表）

若顶级索引表还没读入内存，访问0-7逻辑块：两次读磁盘，访问8-263：三次读磁盘，访问264-65799：四次读磁盘
对于小文件，只需较少的读磁盘次数就可以访问目标数据块。（一般计算机中小文件更多）

4.1.5 逻辑结构VS物理结构

• 逻辑结构（从用户视角看）
  每个字符1B。在用户看来，整个文件占用一片连续的逻辑地址空间
  用户用逻辑地址访问文件
• 物理结构（从操作系统视角看）
  被操作系统拆分为若干个块，逻辑块号相邻
  连续分配：逻辑上相邻的块物理上也相邻
  索引分配：操作系统为每个文件维护一张索引表，其中记录了逻辑块号-》物理块号的映射关系
  
  
  
  顺序文件：各个记录可以顺序存储或链式存储。
  
  支持随机访问：指可以直接确定第i条记录的逻辑地址
  文件各条记录链式存储：由创建文件的用户自己设计的
  文件整体用链接分配：由操作系统决定
  索引文件：从用户视角来看，整个文件依然是连续存放的
  索引文件的索引表：用户自己建立的，映射：关键字-》记录存放的逻辑地址
  索引分配的索引表：操作系统建立的，映射：逻辑块号-》物理块号
  
  
  

4.1.6 文件存储空间管理

存储空间的划分与初始化

空闲表法

适用于“连续分配方式”
如何分配磁盘块：与内存管理中的动态分区分配很类似，为一个文件分配连续的存储空间。同样可采用首次适应、最佳适应、最坏适应等算法来决定要为文件分配哪个区间

如何回收磁盘块：与内存管理中的动态分区分配很类似，当回收某个存储区时需要有四中情况。总之，回收时需要注意表项的合并问题

• 回收区的前后都没有相邻空闲区
• 回收区的前后都是空闲区
• 回收区前面是空闲区
• 回收区后面是空闲区

空闲链表法

空闲盘块链

操作系统保存着链头、链尾指针。

如何分配：若某文件申请k个盘块，则从链头开始依次摘下k个盘块分配，并修改空闲链的链头指针

如何回收：回收的盘块依次挂到链尾，并修改空闲链的链尾指针

适用于离散分配的物理结构。为文件分配多个盘块时可能要重复多次操作

空闲盘区链

操作系统保存着链头、链尾指针。

如何分配：若某文件申请k个盘块，则可以采用首次适应、最佳适应等算法，从链头开始检索，按照算法规则则找到一个大小符合要求的空闲盘区，分配给文件。若没有合适的连续空闲块，也可以将不同盘区的盘块同时分配给一个文件，注意分配后可能要修改相应的链指针、盘区大小等数据

如何回收：若回收区和某个空闲盘区相邻，则需要将回收区合并到空闲盘区中。若回收区没有和任何空闲区相邻，将回收区作为单独的一个空闲盘区挂到链尾

离散分配、连续分配都适用。为一个文件分配多个盘块时效率更高

位示图法

位示图：每个二进制位对应一个盘块。在本例中，“0”代表盘块空闲，“1”代表盘块已分配。位示图一般用连续的“字”来表示，如本例中一个字的字长是16位，字中的每一位对应一个盘块。因此可以用（字号、位号）对应一个盘块号。当然有的题目中也描述为（行号、列号）

重点重点重点重点：要能自己推出盘块号与（字号，位号）相互转换的公式。
注意题目条件：盘块号、字号、位号到底是从0开始还是从1开始

如何分配：若文件需要k个块

• 顺序扫描位示图，找到k个相邻或不相邻的“0”
• 根据字号、位号算出对应的盘块号，将相应盘块分配给文件
• 将相应位设置为“1”

如何回收：

• 根据回收的盘块号计算出对应的字号、位号
• 将相应二进制位设为“0”

连续分配、离散分配都适用

成组链接法

空闲表法、空闲链表法不适用于大型文件系统，因为空闲表或空闲链表可能过大。UNIX系统中采用了成组链接法对磁盘空间块进行管理
文件卷的目录区中专门用一个磁盘块作为“超级块”，当系统启动时需要将超级块读入内存。并且要保证内存与外存中的“超级块”数据一致


如何分配：
eg需要1个空闲块

• 检查第一个分组的块数是否足够。1<100，因此是足够的
• 分配第一个分组中的1个空闲块，并修改相应数据

eg需要100个空闲块

• 检查第一个分组的块数是否足够。100=100，因此是足够的
• 分配第一个分组中的100个空闲块。但是由于300号块内存放了再下一组的信息，因此300号块的数据需要赋值到超级块中

如何回收
eg假设每个分组最多为100个空闲块，此时第一个分组已有99个块，还要再回收一块

eg假设每个分组最多为100个空闲块，此时第一个分组已有100个块，还要再回收一块
需要将超级块中的数据复制到新回收的块中，并修改超级块的内容，让新回收的块称为第一个分组

4.1.7 文件的基本操作

创建文件

进行Create系统调用时，需要提供的几个主要参数：

1. 所需的外存空间大小
2. 文件存放路径
3. 文件名

操作系统在处理Create系统调用时，主要做了两件事

• 在外存中找到文件所需的空间（结合上小节学习的空闲链表法、位示图、成组链接法等管理策略，找到空心空间）
• 根据文件存放路径的信息找到该目录对应的目录文件，在目录中创建该文件对应的目录项。目录项中包含了文件名、文件在外存中的存放位置等信息

删除文件

进行Delete系统调用时，需要提供的几个主要参数：

1. 文件存放路径
2. 文件名

操作系统在处理Delete系统调用时，主要做了几件事：

• 根据文件存放路径找到相应的目录文件，从目录中找到文件名对应的目录项
• 根据该目录项纪录的文件在外存的存放位置、文件大小等信息，回收文件占用的磁盘块。（回收磁盘块时，根据空闲表法、空闲链表法、位示图法等管理策略的不同，需要做不同的处理）
• 从目录表中删除文件对应的目录项

打开文件

在很多操作系统中，在对文件进行操作之前，要求用户先使用open系统调用“打开文件”，需要提供的几个主要参数：

1. 文件存放路径
2. 文件名
3. 要对文件的操作类型

操作系统在处理open系统调用时，主要做了几件事：

• 根据文件存放路径找到相应的目录文件，从目录中找到文件名对应的目录项，并检查该用户是否有指定的操作权限
• 将目录项复制到内存中的“打开文件表”中。并将对应表目的编号返回给用户。之后用户使用打开文件表的编号来指明要操作的文件

关闭文件

进程使用完文件后，要“关闭文件”，操作系统在处理Close系统调用时，主要做了几件事：

1. 将进程的打开文件表相应表项删除
2. 回收分配给该文件的内存空间等资源
3. 系统打开文件表的打开计数器count减一，若count=0，则删除对应表项

读文件

进程使用read系统调用完成写操作。需要指明是哪个文件（在支持“打开文件”操作的系统中，只需要提供文件在打开文件表中的索引号即可），还需要指明要读入多少数据、指明读入的数据要放在内存中的什么位置
操作系统在处理read系统调用时，会从读指针指向的外村中，将用户指定大小的数据读入用户指定的内存区域中。

写文件

进程使用write系统调用完成写操作。需要指明是哪个文件（在支持“打开文件”操作的系统中，只需要提供文件在打开文件表中的索引号即可），还需要指明要写入多少数据、指明写入的数据要放在内存中的什么位置
操作系统在处理write系统调用时，会从写指针指向的外存，将用户指定大小的数据写入用户指定的内存区域中。

4.1.8 文件保护

注意：多个用户共享同一个文件，意味着系统中只有“一份”文件数据。并且只要某个用户修改了该文件的数据，其他用户也可以看到文件数据的变化。
如果是多个用户都“复制”了同一个文件，那么系统中会有“好几份”文件数据。其中一个用户修改了自己的那么文件数据，对其他用户的文件数据并没有影响。

基于索引结点的共享方式（硬连接）

知识回顾：索引结点，是一种文件目录瘦身策略。由于检索文件时只需用到文件名，因此可以将除了文件名之外的其他信息放到索引结点中。这样目录项就只需要包含文件名、索引结点指针。

索引结点中设置一个链接计数变量count，用于表示链接到本索引结点上的用户目录项数

若count>1，说明至少有2个用户目录项链接到该索引结点上，或者说是有至少2个用户在共享此文件。
此时某个用户决定“删除”该文件，则只是要把用户目录中与该文件对应的目录项删除，且索引结点的count-1.
若count>0，说明还有别的用户要使用该文件，暂时不能吧文件数据删除，否则会导致指针悬空；当count=0时，系统负责删除文件

基于符号链的共享方式（软链接）

Link类型的文件名可以不同

4.1.9 文件保护

口令保护

为文件设置一个“口令”，用户请求访问该文件时必须提供“口令”
口令一般存放在文件对应的FCB或索引结点中。用户访问文件前需要先输入“口令”，操作系统会将用户提供的口令与FCB中存储的口令进行比较，如果正确，则允许该用户访问文件

优点：保存口令的空间开销不多，验证口令的时间开销也很小
缺点：正确的“口令”存放在系统内部，不够安全

加密保护

使用某个“密码”对文件进行加密，在访问文件时需要提供正确的“密码”才能对文件进行正确的解密


优点：保密性强，不需要在系统中存储“密码”
缺点：编码/译码，或者说加密/解密需要花费一定时间

访问控制

在每个文件的FCB（或索引结点）中增加一个访问控制列表（ACL），该表中记录了各个用户可以对该文件执行哪些操作。

若电脑中用户过多，ACL会过大，可以使用精简的访问列表

精简的访问列表：以“组”为单位，标记各“组”用户可以对文件执行哪些操作