文章目录
- 前言
- 基础IO定义
- 系统IO接口
- 文件描述符
- 重定向原理
- 缓冲区刷新
前言
要知道每个函数/接口的全部参数和返回值建议去官网或者直接在Linux的man手册中查,这不是复制粘贴函数用法的文章。
C语言文件读写介绍链接
基础IO定义
IO是Input/Output的缩写,它是计算机领域中常用的术语,用来描述计算机系统与外部设备之间的数据交换过程。输入(Input)是指将外部数据或指令传输到计算机系统中,而输出(Output)则是指将计算机系统处理后的数据或结果传输到外部设备中。例如,键盘、鼠标、显示器、打印机等都属于外部设备,它们与计算机之间的数据交换过程就是通过输入和输出来实现的。
系统IO接口
在说系统IO接口之前需要区分语言库IO函数和系统IO接口的区别,库函数IO接口如C语言中的fopen函数 fseek函数 ftell函数 rewind函数
等。这些都是语言库对系统IO接口open write read close
等IO接口的再封装。 如图open write read close
等IO接口在用户操作接口层,fopen函数 fseek函数 ftell函数 rewind函数
等在用户层。
文件描述符
文件描述简写为fd;
在Linux中,每个进程都有一个task_struct,
task_struct 里有 *files指针
, *files指针指向 files_struct结构体
(files_struct结构体内含有file_struct
结构体的列表的指针) , fd
是 files_struct 内那个指向的数组 的下标,文件描述符本质是文件信息结构体数组下标。(注意files_struct
和 file_struct
差一个字母 )
在调用系统IO接口open打开文件后会返回打开文件描述符。文件描述符是一个非负的整数。在Linux操作系统中的进程中,默认会打开三个文件描述符,分别是0 , 1 , 2
对应三个文件标准输入文件
标准输出文件
标准错误文件
。(Linux中一切皆文件,硬件如:显示器,键盘鼠标接入后都是Linux系统中的一个个文件)
文件描述符的分配原则是,当一个进程打开新的文件,该文件的信息存放在文件信息存储数组中未被使用的且素组下标最小的位置。(也就是说如果默认被标准输入文件使用的0下标在新文件被打开之前就关闭,新文件打开后就会占据0下标来记录新打开文件的文件信息)
重定向原理
重定向原理:关闭文件信息数组newfd下标对应的文件,并将newfd存储的文件设置为oldfd存储的文件信息。此时newfd 和 oldfd 文件描述符实际对应的都是重定向之前 newfd对应的文件信息,即可通过newfd 和 oldfd 文件描述访问同一个文件。
将oldfd实际对应的文件信息给newfd
重定向使用
使用方法一:利用函数
int dup2(int oldfd, int newfd);
参数:
1.oldfd:一个整数值,表示要复制的旧文件描述符。
2.newfd:一个整数值,表示新的文件描述符。
返回值:
如果成功,返回值为newfd;
如果失败,返回值为-1,并设置errno来指示错误类型。
例:
#include <stdio.h>
#include <unistd.h>
#include <fcntl.h>
int main()
{
// 打开一个文件用于写入
int fd = open("example.txt", O_WRONLY | O_CREAT, 0644);
if (fd == -1)
{
perror("open");
return 1;
}
// 将标准输出重定向到文件描述符fd所指向的文件
int newfd = dup2(fd, STDOUT_FILENO);
if (newfd == -1)
{
perror("dup2");
return 1;
}
printf("This will be written to example.txt\n");
// 这行内容将会写入到example.txt文件中
close(fd); // 关闭文件描述符fd
close(newfd); // 关闭新的文件描述符newfd
return 0;
}
使用方法二:在命令行利用重定向符号 < >
在Linux中,重定向符号>用于将命令的输出结果重定向到指定的文件中。它的作用是将命令的标准输出(stdout)输出到文件中,而不是显示在终端上。
重定向符号>的使用方法是在命令后面加上>符号,紧跟着要输出到的目标文件名。例如:
command > filename
command表示要执行的命令,filename表示要将输出结果写入的目标文件名。
当执行带有重定向符号>
的命令时,如果目标文件已经存在,则会被覆盖;如果目标文件不存在,则会创建一个新文件。重定向符号>会将命令的标准输出重定向到目标文件中,不会在终端上显示输出结果。以下是几个示例,演示如何使用重定向符号>进行输出重定向:
- 将ls命令的输出结果写入到名为file.txt的文件中:
ls > file.txt
- 将command命令的错误输出(标准错误流)写入到名为error.txt的文件中
command 2> error.txt
缓冲区刷新
什么是缓冲区
缓冲区区分
前面IO分为系统IO和语言库封装的IO函数,语言库在封装IO接口的同时也对IO缓冲区刷新策略做了封装,C语言的缓冲刷新策略和Linux本身缓冲区刷新策略大致一样。但C语言的函数在系统缓冲区的基础上,在语言库层面(用户层)再设置了一个缓冲区,该缓冲区具体在FILE结构体中。
Linux 缓冲区刷新策略:
-
全缓冲(fully buffered):默认情况下,Linux使用全缓冲模式。在全缓冲模式下,数据会在缓冲区中累积一定量后才会被写入磁盘,这样可以减少磁盘I/O操作的次数,提高性能。但是,这也意味着数据可能会在缓冲区中停留一段时间,直到缓冲区满或者手动刷新。
-
行缓冲(line buffered):对于某些特殊的文件,如终端设备,Linux会使用行缓冲模式。在行缓冲模式下,数据会在遇到换行符时立即写入磁盘,这样可以保证及时显示输出结果。但是,对于普通文件,行缓冲模式并不常见。
-
无缓冲(unbuffered):在某些情况下,我们可能需要禁用缓冲区,直接将数据写入磁盘。这种模式下,数据会立即写入磁盘,但是由于没有缓冲区,会导致频繁的磁盘I/O操作,性能较差。
库函数刷新策略证明
#include <stdio.h>
#include <string.h>
int main()
{
const char *msg0="hello printf\n";
const char *msg1="hello fwrite\n";
const char *msg2="hello write\n";
printf("%s", msg0);
fwrite(msg1, strlen(msg0), 1, stdout);
write(1, msg2, strlen(msg2));
fork();
return 0;
}
直接运行结果:
hello printf
hello fwrite
hello write
./test > file 重定向之后结果:
hello write
hello printf
hello fwrite
hello printf
hello fwrite
现象解释:C语言库函数缓冲区在输入对象为终端时刷新策略为行缓冲,直接运行时,在遇到换行符时就将库函数缓冲区的内容刷新到系统缓冲区,再由系统缓冲区输入到终端上。重定向后,输入目标为普通文件,刷新策略变为全缓冲,write输入到系统缓冲区,fwrite 和 printf 属于C语言库函数,输入了C语言库函数缓冲区,在子进程创建后,会拷贝一份C语言库函数缓冲区 (因为拷贝了FILE结构体,C语言库函数缓冲区即为FILE结构体的成员) 到子进程。 进程结束时会将父子进程C语言库函数的缓冲区的内容输入系统缓冲区,再由系统缓冲区一起刷新到终端(屏幕)。