Linux——文件缓冲区与模拟实现stdio.h

前言

我们学习了系统层面上的文件操作,也明白了重定向的基本原理,在重定向中,我们使用fflush(stdout)刷新了缓冲区,当时我们仅仅知道重定向需要刷新缓冲区,但是不知道其所以然,今天我们来见识一下。

一、缓冲区

缓冲区的本质就是内存的一部分,C标准库提供了他的缓冲区,操作系统也有自己的缓冲区,我们绝大部分使用的缓冲区是C/C++的缓冲区

大家看如下代码,理解一下缓冲区的作用

明明代码中hello linux在前面,休眠在后面,按道理应该是先打印内容,再进行休眠才对,这里等到睡眠结束才打印出来结果。这就是缓冲区在从中起作用。

举个例子

我在重庆,我的朋友在四川,当我想要给他一箱娃哈哈AD钙奶的时候, 如果我开车屁颠屁颠的送过去,确保再他手上之后再返回,效率就会十分低下,如果我将AD钙奶给菜鸟驿站,让菜鸟驿站帮我送过去,虽然时间没有变快,但是效率肯定变高了(驿站会存很多快递一起往四川寄过去)

其中,菜鸟驿站就是缓冲区,缓冲区的作用就是提高使用者的效率,同时因为有缓冲区的存在,我们积累了一部分再统一发送,这也变相的提高了发送的效率

二、缓冲区的刷新方式

缓冲区能够暂存数据,那么他肯定有相应的刷新策略

一般策略

        1.无缓冲(立即刷新)

        2.行缓冲(行刷新)

        3.全缓冲(缓冲区满了,再刷新)

特殊情况

        1.用户输入fflush(),强制刷新。

        2.进程退出的时候,也要进行刷新缓冲区

对于一般显示器文件,采用行缓冲的策略

对于磁盘上的文件,采用全缓冲的策略

三、缓冲区的样例

执行,打印出结果,我们选择重定向到文件中,发现打印顺序不一样。 

 我们在最后面添加上fork,按道理打印应该跟之前一样

这里打印到显示器是正常现象,重定向到文件中竟然超级加倍了 

明明fork在最后,fork之后没有代码需要执行的,为什么C提供的打印会打印双份,而系统调用依然是只有一个。 

我们一步步分析

1.显示器文件的刷新策略是行刷新,我们在显示器上打印都是带了‘\n’,fork之前,数据已经全部被刷新,包括系统调用接口。

2.重定向到log.txt,本质是向磁盘进行写入,刷新方式由行刷新变成了全缓冲。

3.全缓冲意味着缓冲区变大,写入的数据不足以将缓冲区填满,fork执行后,数据依然在缓冲区中,没有刷新出去

4.这里谈到的缓冲区,是C语言提供的缓冲区,跟操作系统没关系(因为系统调用打印并没有加倍,C加倍了,一定跟C脱不了关系)

5.C/C++提供的缓冲区,里面一定保存了用户的数据,这属于当前进程自己的数据,如果缓冲区刷新,将数据交给了操作系统,就由操作系统来帮我们处理了,不属于当前进程了。

6.当进程退出时,一般都要强制刷新缓冲区。

根据上述内容,我们小总结一下

fork之后,数据仍在C语言的缓冲区中,属于当前进程自己的数据,那么fork之后,父子进程代码和数据共享,同时父子进程陆续退出,退出时会刷新缓冲区(将数据给操作系统——也算写入),就会发生写时拷贝,父给操作系统一份,子也会给操作系统一份,因此会打印两份内容!!!

而write系统调用,没有使用C语言的缓冲区,直接写入到操作系统中,并不属于该进程,因此不会写时拷贝。


那么你兜兜转转说了这么多,还没说什么叫刷新?为什么重定向到文件中,write先行打印?

从C语言缓冲区写入到操作系统内部称为刷新,而write函数,根本没有经过C语言缓冲区,直接在操作系统内部,因此重定向时 write 先打印!!!

C语言搞缓冲区出来就是为了提高效率,C语言追求的就是效率,姿势可以不帅,但速度一定要快,写入到C语言缓冲区速度要比写入到操作系统快多了,写入完成直接返回运行后续代码了,直到写满了缓冲区或者进程退出时,一起将缓冲区的内容再写到操作系统中。

而后续操作系统中给每一个文件也设置了文件缓冲区,操作系统再根据他自己的刷新策略进行刷新,写入到磁盘中,和用户已经没关系了。

四、C语言缓冲区在哪

说了这么多,我也知道缓冲区确实存在,那他到底在哪里呢?

答案是在FILE结构体里,我们输入输出都要有一个FILE,像printf函数,虽然传参不需要FILE,但他内部一定封装了

比如,当我们进行scanf输入的时候,我们输入的字符都会被暂存到stdin的缓冲区中,再根据输入的%d或者其他格式,帮我们转化。

五、简易的stdio.h

我们写简单一点,目的是帮助我们更好理解缓冲区和重定向,只需要四个函数,fopen,fclose,fprintf,fflush。

1.mystdio.h

那么mystdio.h头文件如下,MyFile结构体中,有fileno,flag,buffer,end。

2.mystdio.c

my_fopen函数,首先先判断方式为“r”、“w”、“a”,还是其他,如果flag中有O_CREAT,则open打开文件需要添加权限掩码。malloc开辟MyFile空间,同时初始化一下。

 my_fflush函数刷新,使用write写到操作系统中

my_fwrite函数,先使用memcpy从s里面把数据拷贝到buffer(不用strcpy是不拷贝"\0"),判断刷新方式与end大小,看看是否需要刷新,循环遍历‘\n’,防止出现str = "abcd\nefg"的情况。发现 '\n' 就先处理end大小,再退出循环开始刷新,后面再将str中\n后面的数据拷贝回buffer的起始位置,再处理end。

 my_fclose函数简单,退出前先刷新一下就可以了,再调用close。

3.main.c

结果如下,每次遇到 '\n' 都会进行缓冲区的刷新。 因此总是在hello后面进程刷新

通过模拟的方式能帮我们更好理解缓冲区的概念。

最后附上总代码

mystdio.h

#pragma once

#define SIZE 4096
#define FLUSH_NONE 1
#define FLUSH_LINE 2
#define FLUSH_ALL 4
typedef struct _MyFile
{
    int fileno;         //文件描述符
    int flag;           //刷新方式
    char buffer[SIZE];  //缓冲区
    int end;            //缓冲区大小                   
}MyFile;

MyFile *my_fopen(const char* path,const char* mode);

int my_fwrite(const char* s, int num,MyFile *stream);

int my_fflush(MyFile* stream);

int my_fclose(MyFile* stream);

mystdio.c 

 

#include "mystdio.h"    
#include<string.h>    
#include<sys/types.h>    
#include<sys/stat.h>    
#include<fcntl.h>    
#include<unistd.h>    
#include<errno.h>    
#include<stdlib.h>    
MyFile *my_fopen(const char* path,const char* mode)    
{    
    int fd = 0;    
    int flag = 0;    
    if(strcmp(mode,"r")== 0)    
    {    
        flag |= O_RDONLY;    
    }    
    else if(strcmp(mode,"w")==0)    
    {    
        flag |= O_WRONLY|O_CREAT|O_WRONLY;    
    }    
    else if(strcmp(mode,"a")==0)    
    {    
        flag |= O_WRONLY|O_CREAT|O_APPEND;    
    }    
    else{    
        //其他模式      
    }    
    if(flag & O_CREAT)    
    {    
        fd = open(path,flag,0666);    
    }    
    else    
    {    
        fd = open(path,flag);    
    }    
    if(fd < 0)    
    {    
        errno = 2;    
        return NULL;    
    }    
    MyFile* fp = (MyFile*)malloc(sizeof(MyFile));    
    if(!fp)    
    {    
        errno = 3;    
        return NULL;    
    }    
    fp->flag = FLUSH_LINE;    
    fp->end = 0;                                                 
    fp->fileno = fd;    
    return fp;    
}    
int my_fwrite(const char* s,int num,MyFile *stream)    
{
    memcpy(stream->buffer+stream->end,s,num);
    stream->end += num;
    //判断是否需要刷新
    if((stream->flag & FLUSH_LINE)&&stream->end>0)
    {
        int i = 0;
        int len = 0;//记录\n后还有几个字符
        for(;i<stream->end;i++)
        {
            if(stream->buffer[i]=='\n')
            {
                len = stream->end - i - 1;
                stream->end = i+1;
                break;
            }
        }
        my_fflush(stream);
        memcpy(stream->buffer,stream->buffer+i+1,len);
        stream->end = len;
    }
    return num; 
}
int my_fflush(MyFile* stream)
{
    if(stream->end > 0)
    {
        //写到操作系统中
        write(stream->fileno, stream->buffer,stream->end);
        
        //内核级别的文件缓冲区刷新 
        fsync(stream->fileno); 
    }
    return 0;
}
int my_fclose(MyFile* stream)
{
    my_fflush(stream);
    return close(stream->fileno);
}

main.c

#include"mystdio.h"    
#include<stdio.h>    
#include<string.h>    
#include<unistd.h>    
int main()    
{    
    MyFile* fp = my_fopen("log.txt","w");    
    if(fp==NULL)    
    {    
        perror("my_fopen");    
        return 1;    
    }    
    int cnt = 10;    
    const char *msg = "hello\nlinux";    
    while(cnt--)    
    {    
        my_fwrite(msg,strlen(msg),fp);    
        sleep(1);    
    }    
    
    my_fclose(fp);    
    return 0;                                                    
}

谢谢大家观看!!!! 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/449078.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

框架学了不会用?四小时做完一个完整的前后端分离demo(SpringBoot+Vue)

四小时做完一个完整的前后端分离demo&#xff08;SpringBootVue&#xff09; 分享一个看到的还不错的小项目&#xff0c;非常适合刚学完框架但是没有太多动手机会的的学生党用来练手。 优势 手把手写代码&#xff0c;有教学视频免费&#xff0c;有源代码项目周期短 视频教程…

Nvidia显卡@参数规格@驱动下载@cuda版本查看

文章目录 Nvidia显卡产品类型GeForce系列 命名规则前缀和后缀技术特点性能指标/&#x1f47a;显存(VRAM)显存和位宽位宽和现存容量的设计 其他 显卡信息查看Nvidia官网查看其他数据库核心规格GeForce系列产品参数在线查看&#x1f47a;大汇显卡规格总比较其他显卡规格比较 性能…

Facebook、亚马逊账号如何养号?

之前我们讨论过很多关于代理器的问题。它们的工作原理是什么?在不同的软件中要使用那些代理服务器?这些代理服务器之间的区别是什么?什么是反检测浏览器等等。 除了这些问题&#xff0c;相信很多人也会关心在使用不同平台的时代理器的选择问题。比如&#xff0c;为什么最好…

目标检测——布匹缺陷检测数据集

一、简要 布匹瑕疵是指在布料生产过程中或后续处理中出现的各种不符合质量标准或期望的缺陷。这些瑕疵可能源自原料、织造工艺、染色、印花、加工等多个环节。布匹瑕疵的类型繁多&#xff0c;涵盖了结构瑕疵和质量瑕疵两大类。结构瑕疵指的是布料本身的缺陷&#xff0c;包括嵌…

Skia最新版CMake编译

运行示例&#xff1a;example/HelloWorld.cpp Skia: 2024年03月08日 master分支: 993a88a663c817fce23d47394b574e19d9991f2f 使用CMake编译 python tools/git-sync-depsbin/gn gen out/config --idejson --json-ide-script../../gn/gn_to_cmake.py此时output目录会生成CM…

指数幂+力扣

题目 题目链接 . - 力扣&#xff08;LeetCode&#xff09; 题目描述 代码实现 class Solution { public:double myPow(double x, int n) {long t n;return t > 0 ? _myPow(x, t) : 1 / _myPow(x, -t);}double _myPow(double x, int n){if(n 0) return 1;double y _…

【解决】Sublime Text找不到Package Control选项,且输入install也不显示Install Package(其中一种情况)

【问题描述】 Sublime Text 找不到 Package Control 选项&#xff0c;且输入 install 也不显示 Install Package 【解决方法】&#xff08;其中一种情况&#xff09; 1、工具栏 Preferences -> Settings&#xff0c;点开查看设置文档 2、检查 "ignored_packages&q…

Vue+OpenLayers7入门到实战:OpenLayers地图鼠标点击事件使用,点击地图后弹框并显示当前位置经纬度

返回《Vue+OpenLayers7》专栏目录:Vue+OpenLayers7入门到实战 前言 本章介绍如何使用OpenLayers7在地图上监听点击事件,以及监听地图点击事件后进行简单弹框并获取当前点击位置的经纬度并显示wgs84坐标位置和度分秒格式经纬度信息。 二、依赖和使用 "ol": "…

【开发】JavaWeb开发中如何解析JSON格式数据

目录 前言 JSON 的数据类型 Java 解析 JSON 常用于解析 JSON 的第三方库 Jackson Gson Fastjson 使用 Fastjson Fastjson 的优点 Fastjson 的主要对象 JSON 接口 JSONObject 类 JSONArray 类 前言 1W&#xff1a;什么是JSON&#xff1f; JSON 指 JavaScrip t对象表…

上手OpenMMLab——从零开始通过mmagic上手AIGC

上手OpenMMLab——从零开始通过mmagic上手AIGC 目录 上手OpenMMLab——从零开始通过mmagic上手AIGC**写在前面****MMagic简介与特性****环境搭建与初步探索****文本生成与编辑****图像生成与风格迁移****音频生成与语音合成****高级应用与案例分享** **总结****附录&#xff1a…

sqli-labs练习

2关 找出数据库名字 从数据库security 中找到表明名: 找到数据库名字: 从表users中找到列: 取出表users用户名和密码:用户名~密码 3关 判断出id是(‘id’)的形式 4关 双引号测试报错,推测是(“id“) 5关 填写id=1没有回显信息(布尔盲注一般适用于页面没有回显字…

力扣--动态规划97.交错字符串

思路分析&#xff1a; 动态规划数组定义&#xff1a; dp[i][j] 表示&#xff1a;使用字符串 s1 的前 i 个字符和字符串 s2 的前 j 个字符&#xff0c;能否构成字符串 s3 的前 i j 个字符的交错组合。 初始化&#xff1a; dp[0][0] 初始化为 1&#xff0c;表示空串是 s1 和 s2 …

蓝桥杯练习系统(算法训练)ALGO-980 斐波那契串

资源限制 内存限制&#xff1a;256.0MB C/C时间限制&#xff1a;10.0s Java时间限制&#xff1a;30.0s Python时间限制&#xff1a;50.0s 问题描述 斐波那契串由下列规则生成&#xff1a;   F[0] "0";   F[1] "1";   F[n] F[n-1] F[n-2]…

2024年最新《国际预警期刊》正式更新!

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 一、国际期刊预警名单的变化&#xff1f;二、课程案例展示&#xff08;篇幅有限仅展示部分&#xff09;1.【热图系列】2.【九象限图系列】3.【富集分析系列】4.【机…

Redis哨兵模式(Sentinel)的搭建与配置

创建三个Redis实例所需的目录,生产环境需独立部署在不同主机上,提高稳定性。 Redis 哨兵模式(Sentinel)是一个自动监控处理 redis 间故障节点转移工作的一个redis服务端实例,它不提供数据存储服务,只进行普通 redis 节点监控管理,使用redis哨兵模式可以实现redis服务端故…

压缩自定义格式压缩包<2>:python使用DEFLATE 算法打包并解压成功,但是解压后的文件格式是固定后缀。

打包 import zlib import osdef compress_folder(input_folder, output_filename):"""使用 DEFLATE 算法压缩文件夹下的所有文件。Parameters:input_folder: str要压缩的文件夹路径。output_filename: str输出压缩文件名。"""# 创建一个空的字节…

数据结构绪论

数据元素&#xff1b;数据项&#xff1b;组合项 数据对象 有相同性质的数据元素就属于同一个数据对象&#xff1b; 而数据结构则要求数据元素之间存在特定的关系&#xff01; 线性数据结构&网状数据结构 数据结构这门课关注的是数据元素之间的关系&#xff0c;和对这些…

做抖音小店需要交钱吗?有门槛吗?都有哪些入驻条件和费用?

大家好&#xff0c;我是电商花花。 在抖音上开店已经成为很多人追逐的方向&#xff0c;因为这些人都看到别人在抖音上赚到钱&#xff0c;然后也想在抖音上尝试一下。 然而&#xff0c;许多人心中仍然存着一个问题&#xff0c;就是做抖音小店需要交钱吗&#xff1f;是否存在门…

盛元广通粮油质量检测实验室管理系统

近年来对于食品安全问题层出不穷&#xff0c;为提高粮食检测中心管理水平&#xff0c;关系到千千万万的消费者的健康饮食问题&#xff0c;粮油作为老百姓日常生活饮食必需品、消耗品&#xff0c;需从源头上对粮食在本省&#xff08;区、市、县&#xff09;不同粮食品种检测检测…

WorkPlus Meet提供高效、安全视频会议解决方案

WorkPlus Meet是一款私有部署和定制化的视频会议解决方案&#xff0c;为企业提供高效、安全的远程协作平台。随着全球数字化转型的加速&#xff0c;视频会议已成为企业必不可少的工作工具&#xff0c;而WorkPlus Meet的私有部署和定制化功能&#xff0c;为企业提供了更大的控制…