[Linux][基础IO][二][缓冲区][理解文件系统]详细解读

目录

  • 1.缓冲区
    • 0.缓冲区的刷新策略
    • 1.何为缓冲区?
    • 2.总结
  • 2.理解文件系统
    • 0.文件元数据
    • 1.了解文件系统 --> 理解inode
    • 2.软硬链接

1.缓冲区

0.缓冲区的刷新策略

  • 一般情况
    1. 立即刷新
    2. 行刷新(行缓冲)
    3. 满刷新(全缓冲)
  • 特殊情况
    1. 用户强制刷新(fflush)
    2. 进程退出
  • 所有的设备,永远都倾向于全缓冲
    • 缓冲区满了,才刷新 --> 需要更少的IO次数 --> 更少次的外设访问 --> 提高效率
    • 和外部设备IO的时候,数据量的大小不是主要矛盾,和外设预备IO的过程是最耗费时间的
  • 一般而言
    • 行缓冲的设备文件 --> 显示器
    • 全缓冲的设备文件 --> 磁盘文件
  • 缓冲策略 = 一般 + 特殊

1.何为缓冲区?

int main()
{
    const char *msg0 = "hello printf\n";
    const char *msg1 = "hello fwrite\n";
    const char *msg2 = "hello write\n";

    printf("%s", msg0);
    fwrite(msg1, strlen(msg0), 1, stdout);
    write(1, msg2, strlen(msg2));
    
    fork();
    return 0;
}

// 运行结果:  
// hello printf
// hello fwrite
// hello write
  • 但如果对进程实现输出重定向呢? ./hello > file
运行结果:  
hello write
hello printf
hello fwrite
hello printf
hello fwrite
  • 发现printf和fwrite(库函数)都输出了2次,而write只输出了一次(系统调用)
    • 一般C库函数写入文件时是全缓冲的,而写入显示器是行缓冲
      • printf&fwrite库函数会自带缓冲区(进度条例子就可以说明)
    • 当发生重定向到普通文件时,数据的缓冲方式由行缓冲变成了全缓冲
      • 而放在缓冲区中的数据,就不会被立即刷新,甚至fork之后刷新
      • 但是进程退出之后,会统一刷新,写入文件当中
    • fork的时候,父子数据会发生写时拷贝,所以当父进程准备刷新的时候,子进程也就有了同样的一份数据,随即产生两份数据
    • write****没有变化,说明没有所谓的缓冲

2.总结

  • printf&fwrite库函数会自带缓冲区,而write系统调用没有带缓冲区
    • 这里所说的缓冲区, 都是用户级缓冲区
    • 其实为了提升整机性能,OS也会提供相关内核级缓冲区,不过不再我们讨论范围之内
  • 那这个缓冲区谁提供呢?
    • printf&fwrite是库函数, write是系统调用,库函数在系统调用的“上层”, 是对系统调用的“封装”
    • 但是write没有缓冲区,而printf&fwrite有 –> 该缓冲区是二次加上的,又因为是C,所以由C标准库提供

2.理解文件系统

0.文件元数据

  • ls -l读取存储在磁盘上的文件信息,然后显示出来
    在这里插入图片描述
模式 | 硬链接数 | 文件所有者 | 组 | 大小 | 最后修改时间 | 文件名
  • 这个信息除了通过ls -l来读取,还有一个stat命令能够看到更多信息
    在这里插入图片描述

1.了解文件系统 --> 理解inode

  • 可将磁盘抽象成线性的结构 --> 数组 <-- 类比磁带理解

    • 若想访问一个扇区,只要知道数组的下标即可
  • 对磁盘的管理 --> 对该数组的管理

    • 将数据存储到磁盘 --> 将数据存储到该数组
    • 找到磁盘特定扇区的位置 --> 找到数组特定的位置
  • 磁盘是典型的块设备,硬盘分区被划分为一个个的block

    • 磁盘可被分区 --> 对磁盘的管理 --> 对一个小分区的管理 --> 对一个块的管理
    • 一个block的大小是由格式化的时候确定的,并且不可以更改
      ![[Pasted image 20240223221244.png]]
  • Linux管理磁盘文件,是将文件内容和文件属性分开管理的

    • 文件 = 内容 + 属性
  • Block Group:ext2文件系统会根据分区的大小划分为数个Block Group

  • Super Block存放文件系统本身的结构信息(文件系统的属性信息),记录的信息主要有:

    • bolck和inode的总量
    • 未使用的block和inode的数量
    • 一个block和inode的大小
    • 最近一次挂载的时间,最近一次写入数据的时间,最近一次检验磁盘的时间等其他文件系统的相关信息
    • Super Block的信息被破坏,可以说整个文件系统结构就被破坏了
  • GDT:块组描述符,描述块组属性信息

    • 这个块组多大?已经使用了多少?
    • 有多少个inode?已经占用了多少个了?还剩多少个?
    • 一共有多少个block?使用了多少?
  • Block Bitmap:记录着Data Block中哪个数据块已经被占用,哪个数据块没有被占用

    • 如:10000+个blocks,10000+比特位,比特位和特定的block一一对应,比特位为1,代表该block被占用,否则表示可用
  • inode Bitmap:每个bit表示一个inode是否空闲可用

    • 如:10000+个inode,10000+比特位,比特位和特定的inode一一对应,比特位为1,代表该inode被占用,否则表示可用
  • inode Table:存放文件属性

    • 如:文件大小,所有者,最近修改时间等
    • inode是一个大小为128字节的空间,保存的是对应文件的属性
    • 块组内,所有文件的inode空间的集合,需要标识唯一性,每一个inode块,都要有一个inode编号
    • 一般而言:一个文件,一个inode,一个inode编号
  • Data blocks存放文件内容

    • 多个4KB(扇区*8)大小的集合,保存的都是特性文件的内容
    • 为什么不以512字节为单位? – 磁盘的基本单位扇区的大小 --> 512字节
      • 太小了,有可能会导致多次IO,进而导致效率的降低
      • 如果OS使用和磁盘一样的大小,万一磁盘基本大小变了的话,OS的源代码要不要进行更改?
      • 这样做到了 硬件 和 软件(OS) 进行解耦
  • 将属性和数据分开存放的想法看起来很简单,但实际上是如何工作的?

  • 创建一个新文件主要有以下4个操作:

  1. 存储属性
    • 内核先找到一个空闲的i节点(这里是263466),内核把文件信息记录到其中
  2. 存储数据
    • 该文件需要存储在三个磁盘块,内核找到了三个空闲块:300,500,800
    • 将内核缓冲区的第一块数据复制到300,下一块复制到500,以此类推
  3. 记录分配情况
    • 文件内容按顺序300,500,800存放,内核在inode上的磁盘分布区记录了上述块列表
  4. 添加文件名到目录
    • 新的文件名abc,Linux如何在当前的目录中记录这个文件?
    • 内核将入口(263466,abc)添加到目录文件,文件名和inode之间的对应关系将文件名和文件的内容及属性连接起来
  • 注意:

    • 目录是文件吗?
      • 是,有自己的inode,有自己的data block
      • data block下存的是 文件名:inode映射关系
      • 文件名、inode互为key值
    • 明明磁盘还有空间,为什么创建文件失败?
      • inode****是固定的,data block是固定的
      • 可能是inode数量不够了,也可能是data block数量不够了,导致无法分配

2.软硬链接

  • 软硬链接的本质区别:有没有独立的inode

  • 真正找到磁盘上文件的并不是文件名,而是inode

    • 在Linux中可以让多个文件名对应于同一个inode
  • 理解硬链接

    • 硬链接没有独立的inode --> 硬链接不是一个独立的文件
    • 硬链接是通过inode引用另外一个文件
      • 创建硬链接,不是真正的创建新文件
    • 创建硬链接,究竟做了什么?
      • 在指定的目录下,建立了 文件名 和 指定inode的映射关系 – 仅此而已
    • 硬链接通过引用计数来判断有多少个文件名和某inode有关联
      在这里插入图片描述
  • 理解软链接

    • 软连接有独立的inode --> 软链接是一个独立的文件
    • 软链接是通过名字引用另外一个文件
      • 可以理解成为:软连接的文件内容,是指向的文件对应的路径
      • 应用:相当于Windows下的快捷方式
  • 设置软硬链接

ln target_filename filename设置硬链接
ln -s target_filename filename设置软链接

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/547517.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

JavaSE图书管理系统实战

代码仓库地址&#xff1a;Java图书管理系统 1.前言 该项目将JavaSE的封装继承多态三大特性&#xff0c;使用了大量面向对象的操作&#xff0c;有利于巩固理解 &#xff08;1&#xff09;实现效果 2.实现步骤 第一步先把框架搭建起来&#xff0c;即创建出人&#xff1a;管理员和…

《系统架构设计师教程(第2版)》第9章-软件可靠性基础知识-04-软件可靠性设计

文章目录 1. 容错设计技术1.1 恢复块设计1.2 N版本程序设计1.3 冗余设计 2. 检错技术3. 降低复杂度设计4. 系统配置中的容错技术4.1 双机热备技术4.1.1 双机热备模式4.1.2 双机互备模式4.1.3 双机双工 4.2 服务器集群技术 1. 容错设计技术 1.1 恢复块设计 恢复块设计 选择一组…

华为框式交换机S12700E系列配置CSS集群

搭建集群环境 a.为两台交换机上电&#xff0c;按照数据规划分别对两台框式交换机进行配置 <HUAWEI> system-view [HUAWEI] sysname Switch1 [Switch1] set css id 1 [Switch1] set css priority 150 //框1的集群优先级配置为150 [Switch1] interface css-port 1 [Sw…

MinGW与Cygwin傻傻分不清楚

MinGW&#xff08;Minimalist GNU for Windows&#xff09;和Cygwin是两个在Windows平台上广泛使用的开发工具&#xff0c;它们各自具有不同的特点和适用场景。 MinGW 的主要方向是让GCC的Windows移植版能使用Win32API来编程。MinGW几乎支持所有的Win32API。 Cygwin 的主要方…

使用 Rust 和 DDD 构建 API 服务器

Introduction 介绍 I tried implementing an API server using Rust and the Axum framework. 我尝试使用 Rust 和 Axum 框架实现 API 服务器。 Target Audience 本文受众 Those who want to implement an API server with Rust. 那些想要用 Rust 实现 API 服务器的人。Those w…

2024年山东三支一扶考试报名照片要求

2024年山东三支一扶考试报名照片要求

(九)C++自制植物大战僵尸游戏自定义对话框的实现

植物大战僵尸游戏开发教程专栏地址http://t.csdnimg.cn/m0EtD 对话框在游戏的交互中非常重要。在游戏中&#xff0c;对话框不仅可以提醒用户下达任务指令&#xff0c;而且还可以让用户进行操作&#xff0c;自定义游戏中的各种属性。对话框在游戏的交互中非常常见且大量使用。Co…

开源相机管理库Aravis例程学习(三)——注册回调multiple-acquisition-callback

开源相机管理库Aravis例程学习&#xff08;三&#xff09;——回调multiple-acquisition-callback 简介例程代码arv_camera_create_streamArvStreamCallbackTypeArvStreamCallback 简介 本文针对官方例程中的&#xff1a;02-multiple-acquisition-callback做简单的讲解。 ara…

[已解决]问题:root.users.hdfs is not a leaf queue

问题&#xff1a;root.users.hdfs is not a leaf queue CDH集群报错&#xff1a; Exception in thread “main” org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit application_1713149630679_0005 to YARN : root.users.hdfs is not a leaf queue 思路 …

ActiveMQ 任意文件上传漏洞复现

一、使用弱口令登陆 ​ 访问 http://ip:8161/admin/ 进入admin登陆页面&#xff0c;使用弱口令登陆&#xff0c;账号密码皆为 admin&#xff0c;登陆成功后&#xff0c;headers中会出现验证信息 ​ 如&#xff1a; Authorization: Basic YWRtaW46YWRtaW4 # 二、利用PUT协议上…

个人投资理财入门

1.简单而言&#xff0c;所谓个人理财&#xff0c;是为了实现个人的人生目标和理想而制订、安排、实施和管理一个各方面总体协调的财务计划的过程。更加直白点儿说&#xff0c;理财就是打理钱财&#xff0c;就是赚钱、省钱、花钱之道。 2.根据经济学上的定义&#xff0c;投资是指…

Unity AR开发环境搭建

在这个项目中使用 Unity 2022.3.19。 AR项目建议使用2022.3及以上版本。 创建一个 3D URP 项目并将其命名为 Magicbox-AR。 注意&#xff1a;如果计划发布 iOS 版 AR 项目&#xff0c;则必须有权使用 Mac 进行最终构建。Windows 计算机无法为 iOS 设备构建最终产品。 项目创建…

[ROS 系列学习教程] 建模与仿真 - URDF 语法介绍

ROS 系列学习教程(总目录) 本文目录 一、robot标签二、link标签三、joint标签 URDF文件中使用XML格式描述的机器人模型&#xff0c;下面介绍URDF的XML标签。 一、robot标签 机器人描述文件中的根元素必须是robot&#xff0c;所有其他元素必须封装在其中。 属性 name&#x…

Springboot引入外部jar包并打包jar包

前言 spring boot项目开发过程中难免需要引入外部jar包&#xff0c;下面将以idea为例说明操作步骤 将需要的jar包导入到项目中 2.在maven中引入jar包 <dependency><groupId>com</groupId><!--随便填的文件夹名称--><artifactId>xxx</artif…

【C++学习】C++4种类型转换详解

这里写目录标题 &#x1f680;C语言中的类型转换&#x1f680;为什么C需要四种类型转换&#x1f680;C强制类型转换&#x1f680;static_cast&#x1f680;**reinterpret_cast**&#x1f680;const_cast与volatile&#x1f680;dynamic_cast &#x1f680;C语言中的类型转换 在…

百度 千帆sdk 试用

主要是Java SDK的使用&#xff1a; <dependency> <groupId>com.baidubce</groupId> <artifactId>qianfan</artifactId> <version>0.0.4</version> </dependency> 参考文档&#xff1a;bce-qianfan-sdk/java at main baidub…

用于 SQLite 的异步 I/O 模块(二十四)

返回&#xff1a;SQLite—系列文章目录 上一篇&#xff1a;SQLite的PRAGMA 声明&#xff08;二十三&#xff09; 下一篇&#xff1a;SQLite、MySQL 和 PostgreSQL 数据库速度比较&#xff08;本文阐述时间很早比较&#xff0c;不具有最新参考性&#xff09;&#xff08;二…

一些实用的工具网站

200 css渐变底色 https://webgradients.com/ 200动画效果复制 https://css-loaders.com/classic/ 二次贝塞尔曲线 https://blogs.sitepointstatic.com/examples/tech/canvas-curves/bezier-curve.html 三次贝塞尔曲线 https://blogs.sitepointstatic.com/examples/tech/c…

PID c++算法学习和实现

原理图&#xff1a; &#xff08;1&#xff09;位置式PID 是1&#xff1a;当前系统的实际位置&#xff0c;与你想要达到的预期位置的偏差&#xff0c; 2&#xff1a;进行PID控制,误差会一直累加&#xff0c;会使当前输出与过去的所有输入相关&#xff0c;输入uk出错&#xff…

python将pdf转为docx

如何使用python实现将pdf文件转为docx文件 1.首先要安装pdf2docx库 pip install pdf2docx2.实现转换 from pdf2docx import Converterdef convert_pdf_to_docx(input_pdf, output_docx):# 创建一个PDF转换器对象pdf_converter Converter(input_pdf)# 将PDF转换为docx文件pdf…