Linux——缓冲区与C库的实现原理

一.缓冲区

1缓冲区的概念

缓冲区的本质就是一段内存

2.缓冲区存在的意义

提高使用者的效率

同时因为缓冲区的存在也提高了操作系统的效率

举例一个例子:
 

假如你在云南要给你北京的朋友寄东西。方法一:你可以亲自己去北京把东西交给他,方法二:把东西给快递站,让它帮你送给他。

这里虽然整个事件持续的事件基本一样,但是对于你来说方法二比方法一效率要高的多,因为你只需要把东西交给快递站,对于你来说就结束了,接下来就可以做其他事情了。而快递站,也会根据你的需求以及自身制定发送快递的策略,不会收到一个快递就发送。

这里:你就是正在执行的进程,快递站是缓冲区。朋友就是文件,快递发送策略:缓冲区刷新策略


3.缓冲区刷新策略   

     1,无缓冲(立即刷新)--fflush()

   2,行缓存(行刷新)--遇到换行就刷新

一般对于显示器文件,采用行刷新

   3,全缓冲(缓冲区满了,再刷新)

磁盘文件采用全缓冲

特殊情况:

1.强制刷新

2.进程退出时,一般要进行刷新缓冲区(属于强制刷新的一种特殊情况)

一个例子:(同一份代码不同结果)

#include <stdio.h>
#include <string.h>
#include <unistd.h>

int main()
{
    fprintf(stdout, "C: hello fprintf\n");
    printf("C: hello printf\n");
    fputs("C: hello fputs\n", stdout);
    const char *str = "system call: hello write\n";
    write(1, str, strlen(str));

    fork(); // 注意fork的位置!
    return 0;
}

可以看出,当重定向到log.txt文件时,除了系统函数write之外,都重复了两次。且write打印的内容在最前面

解释:

1.当我们直接向显示器打印时,显示器文件的刷新方式是行刷新!而且你的代码输出所有字符串都有‘\n’,fork之前,数据就全部被刷新,包括systemcall

2.重定向到log.txt,本质是向磁盘文件中写入(不是显示器!),我们系统对于数据的刷新方式有行刷新,变成了全缓冲!

3.全缓冲意味着缓冲区变大,实际写入的简单数据,不足以把缓冲区写满,fork执行的时候,数据依旧在缓冲区中。

4.我们目前的“缓冲区”,和操作系统是没有关系的 ,只能是语言本身有关,(用户缓冲区)

5.C/C++ 所提供的缓冲区,里面一定保存的是用户数据,属于当前进程在运行自己的数据

如果我们把数据交给操作系统,这个数据就属于操作系统,不属于自己(进程)。

6.当进程退出的时候一般要刷新缓冲区(修改了进程的数据),即使你的数据没有满足刷新条件。

总结:

因此在重定向后,由于变为全缓冲,C语言函数里要打印的东西就成为数据保存在C语言的缓冲区里,接着调用了fork函数创建了子进程,这时无论那个进程在退出前,都会刷新缓冲区(修改数据据,)向文件写入数据,接着就会发生写时拷贝,未退出的进程的数据中让然有之前缓冲区的数据,当这个进程退出是,还会刷新缓冲区,向文件写入数据。因此C语言函数的内容会打印两次。

write是系统调用函数,不使用C语言的缓冲区,直接写入操作系统,不属于进程,不发生写时拷贝!同时,这也是为什么write里的内容第一个打印到log.txt文件里。

4.什么是刷新?

这里我们用printf()函数举例。

在使用printf时,我们会把数据先弄到C语言的缓冲区,当出发刷新的条件时,就调用系统函数write,将缓冲区里的数据全部刷新到文件缓冲区里。而将C语言缓冲区里的数据弄到文件缓冲区里的的过程就是刷新。

为什么要采用刷新,而不是直接通过C语言函数,向文件缓冲区直接写入?

原因:采用刷新策略的效率比直接写入效率高。

文件缓冲区的数据如何刷新到文件上?

这个操作与我们无关,取决于操作系统,但是我们可以确定一点,文件缓冲区的刷新策略一定与语言缓冲区的刷新策略不同

C语言的缓冲区在哪里?

在任何情况下,我们输入输出的时候,都要有一个FILE,FILE是一个结构体,FILE里面除了包含fd(文件标识符)外,还有一段缓冲区。同时也是因此每打开一个文件,对应文件就会有个文件缓冲区,在我们对多个文件进行操作是,因为操作的缓冲区不同,是文件之间不会相互影响。

这里如果你想查看FILE结构体里有关缓冲区的内容,可以输入指令:

vim /usr/include/libio.h +246

结构体名是_IO_FILE与是C库对FILE使用typedef重命名了。

具体可通过指令:

vim /usr/include/stdio.h

打开文件后到第48行查看

仿写C库里的fopen,fclose,fwrite。

mystdio.h

#pragma once

#define SIZE 4096        //缓冲区的大小

//缓冲区刷新策略

#define FLUSH_NONE 1         //直接刷新
#define FLUSH_LINE (1<<1)    //行刷新
#define FLUSH_ALL  (1<<2)    //全缓冲


typedef struct _myFILE     //FILE结构体
{
    int fileno;         //文件标识符
    int flag;           //刷新策略
    char buffer[SIZE];  //语言缓冲区
    int end;            //缓冲区存储数据的大小
}myFILE;


extern myFILE *my_fopen(const char *path, const char *mode);   //仿写fopen

extern int my_fwrite(const char *s, int num, myFILE *stream);  //仿写fwrite

extern int my_fflush(myFILE *stream);                          //仿写fflush

extern int my_fclose(myFILE*stream);                           //仿写fclose



mystdio.c

#include "mystdio.h"
#include <string.h>
#include <sys/types.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <errno.h>
#include <stdlib.h>
#include <unistd.h>

#define DFL_MODE 0666   //设置默认权限

myFILE *my_fopen(const char *path, const char *mode)
{
    int fd   = 0;   
    int flag = 0;


    //设置文件打开方式

    if(strcmp(mode, "r") == 0)
    {
        flag |= O_RDONLY;
    }
    else if(strcmp(mode, "w") == 0)
    {
        flag |= (O_CREAT | O_TRUNC | O_WRONLY);
    }
    else if(strcmp(mode, "a") == 0)
    {
        flag |= (O_CREAT | O_WRONLY | O_APPEND);
    }
    else{
        // Do Nothing
    }




    //文件不存在,创建文件并打开,并获取文件标识符与设置默认权限
    if(flag & O_CREAT)
    {
        fd = open(path, flag, DFL_MODE);
    }

    //文件存在,打开文件,获取文件标识符
    else
    {
        fd = open(path, flag);
    }

    //判断文件是否打开成功
    if(fd < 0)
    {
        errno = 2;
        return NULL;
    }

    

    //为FILE指针开辟空间
    myFILE *fp = (myFILE*)malloc(sizeof(myFILE));
    if(!fp) 
    {
        errno = 3;
        return NULL;
    }

    //对FILE内容初始化
    fp->flag = FLUSH_LINE;
    fp->end = 0;
    fp->fileno = fd;
    return fp;
}



int my_fwrite(const char *s, int num, myFILE *stream)  //仿写fwrite
{

    // 将数据写入C语言缓冲区
    memcpy(stream->buffer+stream->end, s, num);
    stream->end += num;


// 判断是满足刷新条件, 这里我默认'\n'只会出现在结尾,在"abcd\nefgh"这种情况下会有bug
    if((stream->flag & FLUSH_LINE) && stream->end > 0 && stream->buffer[stream->end-1] == '\n')
    {
        my_fflush(stream);
    }

    return num;
}


int my_fflush(myFILE *stream)//仿写fflush
{
    //当缓冲区不为空时,刷新缓冲区
    if(stream->end > 0)
    {
        write(stream->fileno, stream->buffer, stream->end);
        //fsync(stream->fileno);
        stream->end = 0;
    }

    return 0;
}


int my_fclose(myFILE*stream)   //仿写fclose
{
    my_fflush(stream);        //强制刷新
    return close(stream->fileno);
}

main.c(向文件中写入20次msg)

#include "mystdio.h"
#include <stdio.h>
#include <string.h>
#include <unistd.h>

int main()
{
    myFILE *fp = my_fopen("./log.txt", "w");
    if(fp == NULL)
    {
        perror("my_fopen");
        return 1;
    }
    int cnt = 20;
    const char *msg = "haha, this is my stdio lib";
    while(cnt--){
        my_fwrite(msg, strlen(msg), fp);
        sleep(1);
    }
    my_fclose(fp);
    return 0;
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/233384.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

28. 深度学习进阶 - LSTM

文章目录 Hi, 你好。我是茶桁。 我们上一节课&#xff0c;用了一个示例来展示了一下我们为什么要用RNN神经网络&#xff0c;它和全连接的神经网络具体有什么区别。 这节课&#xff0c;我们就着上一节课的内容继续往后讲&#xff0c;没看过上节课的&#xff0c;建议回头去好好…

深度学习 | 前馈神经网络与反向传播算法

目录 一、Logistic函数 二、前馈神经网络&#xff08;FNN&#xff09; 三、反向传播算法&#xff08;BP算法&#xff09; ​四、基于前馈神经网络的手写体数字识别 一、Logistic函数 Logistic函数是学习前馈神经网络的基础。所以在介绍前馈神经网络之前&#xff0c;我们首…

消息队列使用指南

介绍 消息队列是一种常用的应用程序间通信方法&#xff0c;可以用来在不同应用程序或组件之间传递数据或消息。消息队列就像一个缓冲区&#xff0c;接收来自发送方的消息&#xff0c;并存储在队列中&#xff0c;等待接收方从队列中取出并处理。 在分布式系统中&#xff0c;消…

对无向图进行邻接矩阵的转化,并且利用DFS(深度优先)和BFS(广度优先)算法进行遍历输出, 在邻接矩阵存储结构上,完成最小生成树的操作。

一 实验目的 1&#xff0e;掌握图的相关概念。 2&#xff0e;掌握用邻接矩阵和邻接表的方法描述图的存储结构。 3&#xff0e;掌握图的深度优先搜索和广度优先搜索遍历的方法及其计算机的实现。 4&#xff0e;理解最小生成树的有关算法 二 实验内容及要求 实验内容&#…

【Angular开发】Angular在2023年之前不是很好

做一个简单介绍&#xff0c;年近48 &#xff0c;有20多年IT工作经历&#xff0c;目前在一家500强做企业架构&#xff0e;因为工作需要&#xff0c;另外也因为兴趣涉猎比较广&#xff0c;为了自己学习建立了三个博客&#xff0c;分别是【全球IT瞭望】&#xff0c;【架构师酒馆】…

第 119 场 LeetCode 双周赛题解

A 找到两个数组中的公共元素 模拟 class Solution { public:vector<int> findIntersectionValues(vector<int> &nums1, vector<int> &nums2) {unordered_set<int> s1(nums1.begin(), nums1.end()), s2(nums2.begin(), nums2.end());vector<…

C语言进阶之路-数据结构篇

目录 一、学习目标 二、数据结构 1.基本概念 线性关系&#xff1a; 非线性关系&#xff1a; 存储形式 2. 算法分析 2.1 时间复杂度 2.2 空间复杂度 2.3 时空复杂度互换 总结 一、学习目标 了解数据结构的基本概念了解算法的分析方法 二、数据结构 1.基本概念 数据结…

Si24R03—低功耗 SOC 芯片(集成RISC-V内核+2.4GHz无线收发器)

Si24R03是一款高度集成的低功耗SOC芯片&#xff0c;其集成了基于RISC-V核的低功耗MCU和工作在2.4GHz ISM频段的无线收发器模块。 MCU模块具有低功耗、Low Pin Count、宽电压工作范围&#xff0c;集成了13/14/15/16位精度的ADC、LVD、UART、SPI、I2C、TIMER、WUP、IWDG、RTC等丰…

hdlbits系列verilog解答(mt2015_q4)-54

文章目录 一、问题描述二、verilog源码三、仿真结果一、问题描述 本次使用系列文章52和53中实现的子模块,实现以下组合逻辑电路。 二、verilog源码 module top_module (input x, input y, output z);wire [3:0

EPICS modbus 模块数字量读写练习

本文使用modbus slave软件模拟一个受控的modbus设备&#xff0c;此模拟设备提供如下功能&#xff1a; 1、线圈组1&#xff0c;8个线圈&#xff0c;起始地址为0&#xff0c;数量为8&#xff0c;软件设置如下(功能码1)&#xff0c;用于测试功能码5&#xff0c;一次写一个线圈&am…

了解红帽认证

红帽公司成立于1993年&#xff0c;是全球首家收入超10亿美元的开源公司&#xff0c;总部位于美国&#xff0c;分支机构遍布全球。红帽公司作为全球领先的开源和Linux系统提供商&#xff0c;其产品已被业界广泛认可并使用&#xff0c;尤其是RHEL系统在业内拥有超高的Linux系统市…

利用Node.js和cpolar实现远程访问,无需公网IP和路由器设置的完美解决方案

文章目录 前言1.安装Node.js环境2.创建node.js服务3. 访问node.js 服务4.内网穿透4.1 安装配置cpolar内网穿透4.2 创建隧道映射本地端口 5.固定公网地址 前言 Node.js 是能够在服务器端运行 JavaScript 的开放源代码、跨平台运行环境。Node.js 由 OpenJS Foundation&#xff0…

Dockerfile的介绍和使用

什么是dockerfile? Dockerfile是一个包含用于组合映像的命令的文本文档。可以使用在命令行中调用任何命令。 Docker通过读取Dockerfile中的指令自动生成映像。 docker build命令用于从Dockerfile构建映像。可以在docker build命令中使用-f标志指向文件系统中任何位置的Dockerf…

c语言:理解和避免野指针

野指针的定义&#xff1a; 野指针是指一个指针变量存储了一个无效的地址&#xff0c;通常是一个未初始化的指针或者指向已经被释放的内存地址。当程序尝试使用野指针时&#xff0c;可能会导致程序崩溃、内存泄漏或者其他不可预测的行为。因此&#xff0c;在编程中需要特别注意…

二叉树前中后序遍历——(非)递归写法

文章目录 前言递归实现非递归实现力扣习题 红色&#xff1a;前序遍历顺序绿色&#xff1a;中序遍历顺序蓝色&#xff1a;后续遍历顺序 前言 二叉树遍历也分为两种 广度优先遍历&#xff08;Breadth-first order&#xff09;&#xff1a;尽可能先访问距离根最近的节点&#x…

未成年人保护成为《蛋仔派对》最高优先级工作,与家长携手保护孩子健康成长

《蛋仔派对》于近日发布致家长的第二封信&#xff0c;信中向社会各界公布了正在推出的三大“防沉迷”举措&#xff0c;严防“冒用成年人账号”等行为&#xff0c;针对家长关心的未成年防沉迷、冒用成年人账号、渠道服充值退款难等问题进行回应。 《蛋仔派对》表示始终把未成年…

多窗口文件管理工具Q-Dir安装以及使用教程

软件介绍 Q-Dir 是一款功能强大的Windows资源管理器&#xff0c;可以非常方便的管理你的各种文件。Q-Dir有4 个窗口&#xff0c;特别适用于频繁在各个目录间跳跃复制粘贴的情况&#xff0c;每个窗口都可以方便的切换目录&#xff0c;以不同颜色区分不同类型的文件&#xff0c;…

分销电商结算设计

概述 分销电商中涉及支付与结算&#xff1b;支付职责是收钱&#xff0c;结算则是出钱给各利益方&#xff1b; 结算核心围绕业务模式涉及哪些费用&#xff0c;以及这些费用什么时候通过什么出资渠道&#xff0c;由谁给到收方利益方&#xff1b; 结算要素组成费用项结算周期出…

持续集成交付CICD:Jenkins配置Nexus制品上传流水线

目录 一、实验 1.Jenkins配置制品上传流水线 二、问题 1.上传制品显示名称有误 一、实验 1.Jenkins配置制品上传流水线 (1) 新建流水线项目 &#xff08;2&#xff09;描述 &#xff08;3&#xff09;添加参数 &#xff08;4&#xff09;查看构建首页 &#xff08;5&…

体验一下使用 ArkUI 进行 HarmonyOS 开发并与 Compose 简单对比

前言 最近几年各个技术公众号和技术群都在唱衰原生安卓开发&#xff0c;疯狂贩卖焦虑。 搞得我也焦虑的不行&#xff0c;在谷歌的 Compose 推出后就赶紧去学&#xff0c;但是又觉得好像 Compose 的热度也不算太高&#xff0c;又去学 Flutter 。 转头两个都还没学明白呢&…