＜Linux＞ 模拟实现文件流 - 简易版

目录

1. FILE 结构设计

2、函数使用及分析

3、文件打开 fopen

4. 缓冲区刷新fflush

5. 数据写入fwrite

6. 文件关闭 fclose

7. 测试

8. 小结

1. FILE 结构设计

在设计 FILE 结构体前，首先要清楚 FILE 中有自己的缓冲区及冲刷方式

缓冲区的大小和刷新方式因平台而异，这里我们将 大小设置为 1024 刷新方式选择 行缓冲，为了方便对缓冲区进行控制，还需要一个下标 _current，当然还有 最重要的文件描述符 _fd

#include <stdio.h>

//通过位图的方式，控制刷新方式
#define BUFFER_NONE 0x1    //无缓冲
#define BUFFER_LINE 0x2    //行缓冲
#define BUFFER_ALL 0x4     //全缓冲
#define BUFFER_SIZE 1024   //缓冲区大小

typedef struct MY_FILE
{
    char _buffer[BUFFER_SIZE];  //缓冲区
    size_t _current;            //缓冲区下标
    int _flush;                 //刷新方式，位图结构
    int _fd;                    //文件描述符
}MY_FILE;

2、函数使用及分析

主要实现的函数有以下几个：

  • fopen 打开文件
  • fclose 关闭文件
  • fflush 进行缓冲区刷新
  • fwrite 对文件中写入数据
  • fread 读取文件数据
#include <stdio.h>
#include <assert.h>
#include <string.h>

#define SIZE 1024
#define FE "file.txt"

int main()
{
    //打开文件，写入数据
    FILE* fp = fopen(FE, "w");
    assert(fp);

    const char* str = "good morning\n";
    char buff[SIZE] = { 0 };
    snprintf(buff, sizeof(buff), str);
    fwrite(buff, 1, sizeof(buff), fp);

    fclose(fp);
    return 0;
}

  • fopen   -- 打开指定文件，可以以多种方式打开，若是以读方式打开时，文件不存在会报错
  • fclose  -- 根据 FILE* 关闭指定文件，不能重复关闭
  • fwrite   --  对文件中写入指定数据，一般是借助缓冲区进行写入

不同的缓冲区有不同的刷新策略，如果未触发相应的刷新策略，会导致数据滞留在缓冲区中，比如如果内存中的数据还没有刷新就断电的话，会导致数据丢失；除了通过特定方式进行缓冲区冲刷外，还可以手动刷新缓冲区，在 C语言 中，手动刷新缓冲区的函数为 fflush

int main()
{
    int cnt = 20;
    while(cnt)
    {
        printf("he");   //故意不触发缓冲
        cnt--;
        if(cnt % 10 == 5) 
        {
            fflush(stdout); //刷新缓冲区
            printf("\n当前已冲刷，cnt: %d\n", cnt);
        }
        sleep(1);
    }
    return 0;
}

先手动冲刷五次，再手动冲刷十次，最后程序结束后，自动冲刷剩余五次. 

总的来说，这些文件操作相关函数，都是在对缓冲区进行写入及冲刷，将数据拷贝给内核缓冲区，再由内核缓冲区刷给文件

3、文件打开 fopen

MY_FILE *my_fopen(const char *path, const char *mode); //打开文件

打开文件分为以下几步：

  • 根据传入的 mode 确认打开方式
  • 通过系统接口 open 打开文件
  • 创建 MY_FILE 结构体，初始化内容
  • 返回创建好的 MY_FILE 类型

因为打开文件存在多种失败情况：权限不对 / open 失败 / malloc 失败等，所以当打开文件失败后，需要返回 NULL

注意： 假设是因 malloc 失败的，那么在返回之前需要先关闭 fd，否则会造成资源浪费

// 读：   O_RDONLY 
// 读+：  O_RDONLY | O_WRONLY
// 写：   O_WRONLY | O_CREAT | O_TRUNC  
// 写+：  O_WRONLY | O_CREAT | O_TRUNC | O_RDONLY
// 追加： O_WRONLY | O_CREAT | O_APPEND  
// 追加+：O_WRONLY | O_CREAT | O_APPEND | O_RDONLY
// 注意：不考虑 b 二进制读写的情况

MY_FILE *my_fopen(const char *path, const char *mode)
{
  // 1. 识别打开方式
  int flag = 0; // 打开方式
  if(strcmp(mode, "r") == 0)       flag |= O_RDONLY;
  else if(strcmp(mode, "r+") == 0) flag |= (O_RDONLY | O_WRONLY);
  else if(strcmp(mode, "w") == 0)  flag |= (O_WRONLY | O_CREAT | O_TRUNC);
  else if(strcmp(mode, "w+") == 0) flag |= (O_WRONLY | O_CREAT | O_TRUNC | O_RDONLY);
  else if(strcmp(mode, "a") == 0)  flag |= (O_WRONLY | O_CREAT | O_APPEND);
  else if(strcmp(mode, "a+") == 0) flag |= (O_WRONLY | O_CREAT | O_APPEND | O_RDONLY);

  // 2. 根据打开方式打开文件
  mode_t m = 0666;// 默认权限
  int fd = 0;
  if(flag & O_CREAT) fd = open(path, flag, m);// 注意新建文件需要设置权限
  else fd = open(path, flag);

  // 打开失败
  if(fd == -1) return NULL;

  // 3.打开成功就创建并返回MY_FILE对象
  MY_FILE *newfile = (MY_FILE*)malloc(sizeof(MY_FILE));
  if(newfile == NULL)
  {
    close(fd);
    return NULL;
  }

  // 4.初始化MY_FILE对象
  memset(newfile->_buffer, '\0', sizeof(newfile->_buffer));
  newfile->_current = 0;
  newfile->_flush = BUFFER_LINE;
  newfile->_fd = fd;

  // 5. 返回文件
  return newfile;
}

4. 缓冲区刷新fflush

int my_fflush(MY_FILE *stream);   //缓冲区刷新

 缓冲区冲刷是一个十分重要的动作，它决定着 IO 是否正确，这里的 my_fflush 是将用户级缓冲区中的数据冲刷至内核级缓冲区。

冲刷的本质：拷贝，用户先将数据拷贝给用户层面的缓冲区，再系统调用将用户级缓冲区拷贝给内核级缓冲区，最后才将数据由内核级缓冲区拷贝给文件。

因此 IO 是非常影响效率的。数据传输过程必须遵循冯诺依曼体系结构。

函数 fsync

  • 将内核中的数据手动拷贝给目标文件（内核级缓冲区的刷新策略极为复杂，为了确保数据能正常传输，可以选择手动刷新）

注意： 在冲刷完用户级缓冲区后（write），需要将缓冲区清空，否则缓冲区就一直满载了

// 缓冲区刷新
int my_fflush(MY_FILE *stream)
{
    assert(stream);

    // 利用系统接口将用户数据冲刷给OS
    int ret = write(stream->_fd, stream->_buffer, stream->_current);
    stream->_current = 0; // 每次刷新后，都需要清空缓冲区
    fsync(stream->_fd);   // 将内核中的数据强制刷给磁盘(文件)

    if (ret != -1) return 0;
    else return -1;
}

5. 数据写入fwrite

size_t my_fwrite(const void *ptr, size_t size, size_t nmemb, MY_FILE *stream);

数据写入用户级缓冲区的步骤：

  1. 判断当前用户级缓冲区是否满载，如果满了，需要先刷新，再进行后续操作
  2. 获取当前待写入的数据大小 user_size 及用户级缓冲区剩余大小 my_size，方便进行后续操作
  3. 如果 my_size >= user_size，说明缓冲区容量足够，直接进行拷贝；否则说明缓冲区容量不足，需要重复冲刷->拷贝->再冲刷 的过程，直到将数据全部拷贝
  4. 拷贝完成后，需要判断是否触发相应的刷新策略，比如 行刷新->最后一个字符是否为 '\n'，如果满足条件就刷新缓冲区
  5. 数据写入完成，返回实际写入的字节数（简化版，即 user_size）

如果是一次写不完的情况，需要通过循环写入数据，并且在缓冲区满后进行刷新，因为循环写入时，目标数据的读取位置是在不断变化的（一次读取一部分，不断后移），所以需要对读取位置和读取大小进行特殊处理

size_t my_fwrite(const void *ptr, size_t size, size_t nmemb, MY_FILE *stream)
{
  // 1. 先判断缓冲区是否已满
  if(stream->_current == BUFFER_SIZE) my_fflush(stream);

  // 2.根据缓冲区剩余容量情况，进行拷贝
  size_t user_size = size * nmemb;                 // 用户想写入的字节数
  size_t my_size = BUFFER_SIZE - stream->_current; // 缓冲区剩余容量

  size_t writen = 0;
  if(my_size >= user_size)
  {
    // 剩余容量足够则全部拷贝
    memcpy(stream->_buffer+stream->_current, ptr, user_size);
    // 更新字段
    stream->_current += user_size;
    writen = user_size;
  }
  else
  {
    memcpy(stream->_buffer+stream->_current, ptr, my_size);
    // 更新字段
    stream->_current += my_size;
    writen = my_size;
  }

  // 4. 开始刷新
  // 4.1 全缓冲直接刷新
  if(stream->_flush & BUFFER_ALL)
  {
    if(stream->_current == BUFFER_SIZE) my_fflush(stream);
  }
  // 4.2 行缓冲
  else if(stream->_flush & BUFFER_LINE)
  {
    if(stream->_buffer[stream->_current-1] == '\n') my_fflush(stream);
  }
  else
  {
    //TODO
  }

  // 为了简化，这里返回用户实际写入的字节数
  return writen;
}

6. 文件关闭 fclose

int my_fclose(MY_FILE *fp);   //关闭文件

文件在关闭前，需要先将缓冲区中的内容进行冲刷，否则会造成数据丢失

注意： my_fclose 返回值与 close 一致，因此可以复用

// 关闭文件
int my_fclose(MY_FILE *fp)
{
    assert(fp);

    // 刷新残余数据
    if (fp->_current > 0)
        my_fflush(fp);

    // 关闭 fd
    int ret = close(fp->_fd);

    // 释放已开辟的空间
    free(fp);
    fp = NULL;

    return ret;
}

7. 测试

#include <stdio.h>
#include <string.h>
#include <assert.h>
#include <unistd.h>

int main()
{
    //打开文件，写入一段话
    FILE* fp = fopen("log.txt", "w+");
    assert(fp);

    char inPutBuff[512] = "good morning\n";

    int n = fwrite(inPutBuff, 1, strlen(inPutBuff), fp);
    printf("本次成功写入 %d 字节的数据\n", n);

    fclose(fp);
    fp = NULL;
    return 0;
}

8. 小结

用户在进行文件流操作时，实际要进行至少三次的拷贝：用户->用户级缓冲区->内核级缓冲区->文件，C语言 中众多文件流操作都是在完成 用户->用户级缓冲区 的这一次拷贝动作，其他语言也是如此，最终都是通过系统调用将数据冲刷到磁盘（文件）中。

在以前篇章中提过了一个疑问：为什么会打印两次 hello fprintf 就很好理解了：因为没有触发刷新条件（文件一般为全缓冲），所以数据滞留在用户层缓冲区中，fork 创建子进程后，子进程结束，刷新用户层缓冲区[子进程]，此时会触发写时拷贝机制，父子进程的用户层缓冲区不再是同一个；父进程结束后，刷新用户层缓冲区[父进程]，因此会看见打印两次的奇怪现象。

最后再简单提一下 printf 和 scanf 的工作原理

无论是什么类型，最终都要转为字符型进行存储，程序中的各种类型只是为了更好的解决问题
printf

  • 根据格式读取数据，如整型、浮点型，并将其转为字符串
  • 定义缓冲区，然后将字符串写入缓冲区（stdout）
  • 最后结合一定的刷新策略，将数据进行冲刷

scanf

  • 读取数据至缓冲区（stdin）
  • 根据格式将字符串扫描分割，存入字符指针数组
  • 最后将字符串转为对应的类型，赋值给相应的变量
  • 这也就解释了为什么要确保 输出/输入 格式与数据匹配，如果不匹配的话，会导致 读取/赋值 错误

这也就解释了为什么要确保 输出/输入 格式与数据匹配，如果不匹配的话，会导致 读取/赋值 错误

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/487054.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

巧用 20个 Linux 命令贴士与技巧，让你生产力瞬间翻倍？

巧用 20个 Linux 命令贴士与技巧，让你生产力瞬间翻倍？

在本文中&#xff0c;我将向您演示一些专业的Linux命令技巧&#xff0c;这些技巧将使您节省大量时间&#xff0c;在某些情况下还可以避免很多麻烦&#xff0c;而且它也将帮助您提高工作效率。 并不是说这些只是针对初学者的 Linux 技巧。即使有经验的Linux用户也有可能没有发现…
阅读更多...
C++ 扫描当前路径下文件并删除大文件

C++ 扫描当前路径下文件并删除大文件

C 扫描当前路径下文件并删除大文件 C获取当前路径扫描文件路径下规定后缀名称的文件计算文件大小 1. 获取当前路径 使用<Windows.h>中的GetCurrentDirectory方法实现&#xff0c;单独编写验证程序如下&#xff1a; #include<iostream> #include<Windows.h&g…
阅读更多...
R语言基础入门

R语言基础入门

1.保存或加载工作空间 改变工作目录——进行文件读写&#xff0c;默认去指定文件进行操作。&#xff08;使用R时&#xff0c;最好先设定工作目录&#xff08;setwd(),getwd()&#xff09;&#xff09; setwd(“工作文件路径”)&#xff1a;建立工作目录 getwd&#xff08;&…
阅读更多...
Linux的进程控制（创建和终止）

Linux的进程控制（创建和终止）

进程创建 fork 我们前面已经认识过fork函数&#xff0c; 用fork创建新进程后&#xff0c; 新建立的进程为子进程&#xff0c; 该进程为父进程。fork给父进程返回的是子进程的pid&#xff0c; 给子进程返回的是0&#xff0c; 出错时返回-1 进程调用fork后&#xff0c; 当控制…
阅读更多...
IS-IS路由

IS-IS路由

概览&#xff1a; Intermediate System-to-Intermediate System&#xff0c;中间系统到中间系统协议 IS-IS--IGP--链路状态协议--AD值&#xff1a;115 IS--中间系统&#xff08;路由器&#xff09; ES--终端系统&#xff08;PC&#xff09; 在早期IS-IS的开发并不是为了IP…
阅读更多...
安防监控视频汇聚平台EasyCVR启用图形验证码之后如何调用login接口？

安防监控视频汇聚平台EasyCVR启用图形验证码之后如何调用login接口？

视频综合管理平台EasyCVR视频监控系统支持多协议接入、兼容多类型设备&#xff0c;平台可以将区域内所有部署的监控设备进行统一接入与集中汇聚管理&#xff0c;实现对监控区域的实时高清视频监控、录像与存储、设备管理、云台控制、语音对讲、级联共享等&#xff0c;在监控中心…
阅读更多...
3.25号arm

3.25号arm

1. I2C总线 1.1 i2c概述 I2C总线是PHLIPS公司在八十年代初推出的一种串行的半双工总线&#xff0c;主要用于连接整体电路。 I2C总线为两线制&#xff0c;只有两根双向信号线。一根是数据线SDA&#xff0c;另一根是时钟线SCL。 I2C硬件结构简单&#xff0c;接口连接方便&…
阅读更多...
【OpenModelica】1 OpenModelica项目架构

【OpenModelica】1 OpenModelica项目架构

1 OpenModelica项目架构 文章目录 1 OpenModelica项目架构一、 架构总览图二、OpenModelica各部分作用 一、 架构总览图 OpenModelica 环境由几个相互连接的子系统组成&#xff0c;如图 1.1 所示。 其中包括&#xff1a; MDT Eclipse 插件图形模型编辑器/浏览器文本模型编辑器…
阅读更多...
日本科技巨头富士通遭遇网络攻击，客户数据被窃

日本科技巨头富士通遭遇网络攻击，客户数据被窃

日本科技巨头富士通3月15日发布通告&#xff0c;宣称公司经历了一起网络攻击事件&#xff0c;客户个人数据已被黑客窃取。 富士通在一份通知中写道&#xff1a;“我们已经确认有几台商用计算机上存在恶意软件&#xff0c;并且经过我们的内部调查&#xff0c;发现包含个人信息和…
阅读更多...
SAP前台处理：物料计价方式：价格控制与价格确定 - 02 ＜CKM3＞

SAP前台处理：物料计价方式：价格控制与价格确定 - 02 ＜CKM3＞

一、背景&#xff1a; 物料主数据中我们讲解到物料的计价方式&#xff0c;SAP应用到的主要计价方式有移动平均价和标准价格方式两种&#xff0c;但也有按照批次计价等方式&#xff0c;我们主要介绍最常用的V2移动平均价和S3的标准价格&#xff1b; 二、示例差异分析&#xff…
阅读更多...
k8s入门到实战（二）—— windows安装minikube

k8s入门到实战（二）—— windows安装minikube

minikube 安装 minikube 是一个用于在本地计算机上运行单个节点的 k8s 集群的工具。它允许开发人员可以在自己的计算机上进行本地的 k8s 开发和测试。通过minikube&#xff0c;您可以模拟一个完整的 k8s 集群环境&#xff0c;包括节点、Pod、服务和存储等组件。它是一个轻量级…
阅读更多...
Xcode-双架构arm64 x86_64编译

Xcode-双架构arm64 x86_64编译

要启用通用构建&#xff0c;在最新版本的 Xcode 中&#xff0c;请打开您的项目设置&#xff0c;然后依次选择&#xff1a; 1. “Build Settings” 选项卡。 2. 在顶部输入框中输入 “Architectures”。 3. 在 “Architectures” 下拉列表中选择 “Other”。 4. 在输入框中输入 …
阅读更多...
代码随想录刷题day32｜K次反转后最大的数组和加油站分发糖果

代码随想录刷题day32｜K次反转后最大的数组和加油站分发糖果

文章目录 day34学习内容一、K次反转后最大的数组和1.1、思路1.2、代码-正确写法1.2.1、如何理解if (k % 2 1) &#xff1f;1.2.2、原始nums数组[2,-3,-1,5,-4]&#xff0c;那么排序后数组等于什么&#xff1f; 二、加油站2.1、思路2.2、正确写法12.2.1、 如何理解上面这段代码…
阅读更多...
数据可视化-ECharts Html项目实战（7）

数据可视化-ECharts Html项目实战（7）

在之前的文章中&#xff0c;我们学习了如何设置漏斗图、仪表盘。想了解的朋友可以查看这篇文章。同时&#xff0c;希望我的文章能帮助到你&#xff0c;如果觉得我的文章写的不错&#xff0c;请留下你宝贵的点赞&#xff0c;谢谢 数据可视化-ECharts Html项目实战&#xff08;6…
阅读更多...
JavaScript 学习日记(1)---初识JavaScript

JavaScript 学习日记(1)---初识JavaScript

初识JavaScript 文章目录 初识JavaScript一、JavaScript 是什么?二、java 和JavaScript 的关系三、JavaScript 的组成四、JS的基本输入输出 ---> 单行注释五、js变量基本概念六、js基本数据类型七、js转义字符八、js类型转换九、运算符 END! 一、JavaScript 是什么? 我们…
阅读更多...
FDGaussian:又快又好的三维重建方案 | Gaussian Splatting和扩散模型超强联合

FDGaussian:又快又好的三维重建方案 | Gaussian Splatting和扩散模型超强联合

项目地址&#xff1a;https://qjfeng.net/FDGaussian/ 文章链接&#xff1a;https://arxiv.org/pdf/2403.10242 本文介绍了一种名为FDGaussian的新型两阶段框架&#xff0c;用于单张图像的三维重建。最近的方法通常利用预先训练好的二维扩散模型从输入图像生成可能的新视图&…
阅读更多...
DARTS-: ROBUSTLY STEPPING OUT OF PERFORMANCE COLLAPSE WITHOUT INDICATORS

DARTS-: ROBUSTLY STEPPING OUT OF PERFORMANCE COLLAPSE WITHOUT INDICATORS

DARTS-&#xff1a;增加辅助跳跃连接&#xff0c;鲁棒走出搜索性能崩溃 论文链接&#xff1a;https://arxiv.org/abs/2009.01027 项目链接&#xff1a;GitHub - Meituan-AutoML/DARTS-: Code for “DARTS-: Robustly Stepping out of Performance Collapse Without Indicators…
阅读更多...
RAG笔记：常见问题以及解决方法

RAG笔记：常见问题以及解决方法

1 内容缺失 知识库中缺少必要的上下文信息。当知识库没有包含正确答案时&#xff0c;RAG 系统可能会给出一个貌似合理但实际上错误的回答&#xff0c;而不是明确表示它不知道答案。 1.1 解决方法 1.1.1 设置阈值 在回答问题前先设定一个质量标准。如果召回内容达不到标准或…
阅读更多...
大数据Hadoop生态圈体系视频课程

大数据Hadoop生态圈体系视频课程

课程介绍 熟悉大数据概念&#xff0c;明确大数据职位都有哪些&#xff1b;熟悉Hadoop生态系统都有哪些组件&#xff1b;学习Hadoop生态环境架构&#xff0c;了解分布式集群优势&#xff1b;动手操作Hbase的例子&#xff0c;成功部署伪分布式集群&#xff1b;动手Hadoop安装和配…
阅读更多...
真假“长文本”，国产大模型混战

真假“长文本”，国产大模型混战

文&#xff5c;郝 鑫 Kimi有多火爆&#xff1f;凭一己之力搅乱A股和大模型圈。 Kimi概念股连日引爆资本市场&#xff0c;多个概念股随之涨停。在一片看好的态势中&#xff0c;谁都想来沾个边&#xff0c;据光锥智能不完全统计&#xff0c;目前&#xff0c;至少有包括读客…
阅读更多...
最新文章

Copyright @ 2022~2023