直接I/O——绕过内核缓冲
Linux允许应用程序在执行文件I/O操作时绕过内核缓冲区,从用户空间直接传递数据到文件或磁盘设备。
在调用open()函数时,直接添加O_DIRECT标志。
某些应用程序的作用是测试磁盘设备的读写速率,那么就要保证read等操作是直接访问磁盘设备,不经过内核缓冲。
使用直接I/O性能会大大降低,因为内核针对文件I/O内核缓冲区做了不少的优化,譬如包括顺序预读取、在成簇磁盘块上执行I/O,允许访问同一文件的多个进程共享高速缓存的缓冲区。
fd = open(filepath, O_WRONLY | O_DIRECT);
因为直接I/O涉及到对磁盘设备的直接访问,所以在执行直接I/O时,需要遵守三个对齐限制要求:
- 应用程序中用于存放数据的缓冲区,其内存起始地址必须以块大小的整数倍进行对齐;
- 写文件时,文件的位置偏移量必须是以块大小的整数倍。
- 写入到文件的数据大小必须是块的整数倍。
确定磁盘分区的块大小:
tune2fs -l /dev/sda1 | grep "Block size"
标准I/O的stdio缓冲
标准I/O在应用层维护了自己的缓冲区,把这个缓冲区称为stdio缓冲。
stdio缓冲类型:
- 无缓冲:每个标准I/O立刻调用write()或read()
- 行缓冲:当在输入或输出遇到换行符’\n’时,标准I/O才会执行文件I/O操作。对于终端设备默认采用的就是行缓冲模式,例如标准输入和标准输出。
- 全缓冲:当填满stdio缓冲区时才进行文件I/O操作。
刷新stdio缓冲区
- 调用fflush()库函数可强制刷新指定文件的stdio缓冲区
- 调用fclose()关闭文件时会自动刷新文件的stdio缓冲区
- 程序退出时,会自动刷新stdio缓冲区
文件描述符与FILE指针互转
FILE *fdopen(int fd, const char* mode);
INT fileno(FILE *stream);
File类型的指针和fd本来就是同一个文件描述符,不能对同一文件描述符关闭多次,fclose内部也是调用close来执行关闭操作。
最好使用fclose关闭文件,因为fclose关闭文件时,会刷新stdio缓冲区。
当混合使用文件I/O和标准I/O时,需要特别注意缓冲的问题,文件I/O会将数据直接写入到内核缓冲区进行高速缓存,而标准I/O会将数据写入到stdio缓冲区,之后再调用write()将stdio缓冲区中的数据写入到内核缓冲区。
先输出write,再输出print
Linux下的七种文件类型
Linux下一切皆为文件,文件作为Linux系统设计思想的核心理念,在Linux系统下显得尤为重要。
在Windows下,操作系统识别文件类型一般通过文件后缀来判断,譬如C语言头文件.h等。
在Linux下,不会通过文件后缀名来识别文件类型,但为了方便看,shell脚本文件还是以.sh为后缀…
普通文件
例如文本文件、二进制文件,我们编写的源代码文件都是普通文件,也就是一般意义上的文件。
普通文件中的数据存在系统磁盘中,可以访问文件中的内容。
普通文件可以分为文本文件、二进制文件。
- 文本文件:如.c、.h、.sh、.txt
- 二进制文件:.o、.bin
可以通过stat命令或ls命令查看文件类型
stat命令非常友好,会直接把文件类型显示出来;
ls命令,是通过符号表示出来的。
第一个字符就用于表示文件的类型:
- -:普通文件
- d:目录文件
- c:字符设备文件
- b:块设备文件
- l:符号链接文件
- s:套接字文件
- p:管道文件
目录文件
目录就是文件夹,但在Linux系统中也是一种文件,一种特殊的文件,同样可以使用vi编辑器打开文件夹。
文件夹中记录了该文件夹的路径以及该文件夹下存放的文件。
字符设备和块设备
设备文件对应的是硬件设备,硬件设备会对应到一个设备文件,应用程序通过对设备文件的读写来操控、使用硬件设备。
设备文件并不存在于磁盘中,而是由文件系统虚拟出来的,一般是由内存来维护,当系统关机时,设备文件都会消失。
字符设备文件一般存在/dev/目录下,/dev也称为虚拟文件系统。
获取文件属性(stat函数)
int stat(const char* pathname, struct stat *buf);
st_mode是struct stat结构体中的一个成员变量,是一个32位无符号整形数据,该变量记录了文件的类型,文件的权限这些信息。
创建文件touch
lstat()与stat、fstat的区别在于,对于符号链接文件,stat、fstat查阅的是符号链接文件所指向的文件对应的文件属性信息,而lstat查阅的是符号链接文件本身的属性信息。
文件属主
Linux是一个多用户操作系统,系统中一般存在着好几个不同的用户,而Linux系统中每一个文件都有一个与之相关联的用户和用户组,通过这个信息可以判断文件的所有者和所属组。
Linux系统会为每一个用户或用户组分配一个ID,将用户名或用户组名与对应的ID关联起来。
与进程相关联的用户ID和组ID
有效用户ID和有效组ID
有效用户ID和有效组ID,这是进程所持有的概念,对于文件来说,并无此属性!
用于给操作系统判定当前执行该进程的用户对某个文件是否拥有相应权限。
当进程对文件进行读写操作时,系统首先会判断该进程是否有对该文件的读写权限,通过有效用户和有效用户组来判断。
chown函数
int chown(const char* pathname, uid_t owner, gid_t group);
sudo chown root:root test.c
普通权限和特殊权限
普通权限
特殊权限
当进程对文件进行操作时,将进行权限检查,如果文件的set-user-ID位权限被设置,内核会将进程的有效ID设置为该文件的用户ID(文件所有者ID),意味着该进程直接获取了文件所有者的权限,以文件所有者的身份操作该文件。
通常情况下,进程的有效用户等于实际用户,有效组等于实际组。
目录权限
目录的读权限:可列出(通过ls)目录之下的内容。
目录的写权限:可以在目录下创建文件、删除文件。
目录的执行权限:可访问目录下的文件,譬如对目录下的文件进行读、写、执行权限。
如果需要对文件进行读、写、执行等操作,不光是拥有对文件本身的权限,还需要拥有文件所在目录的执行权限。
检查文件权限access
程序当中对文件进行相关操作之前,需要先检查执行进程的用户是否对该文件拥有相应的权限。
修改文件权限chmod
在Linux系统下,可以使用chmod命令修改文件权限,该命令内部实现方法其实是调用了chmod函数,chmod函数是一个系统调用。
umask函数
umask命令用于查看/设置权限掩码,主要用于对新建文件的权限进行屏蔽。
当新建文件时,文件实际的权限并不等于我们设置的权限。
而是mode & ~umask。
譬如调用open函数新建文件时,指定参数为0777,假设umask为0002
实际权限为:0775
umask权限掩码是进程的一种属性,指明该进程在新建目录或文件时,应该屏蔽哪些权限位。
进程的umask通常继承至父进程。
终端下执行的应用程序,umask继承至shell进程。
获取当前时间
#include <time.h>
time_t cur_sec;
time(&cur_sec);
符号链接与软链接
在Linux系统中有两种链接文件,分为软链接(符号链接)文件和硬链接文件,软链接文件就是Linux系统下七种文件类型之一,其作用类似于Windows下的快捷方式。
硬链接:ln 源文件 链接文件
软链接:ln -s 源文件 链接文件
st_nlink记录文件当前的硬链接数,如果大于0,文件都不会被删除。
使用ln命令创建的两个硬链接文件与源文件有相同的inode号,既然inode相同,意味着它们指向了物理硬盘的同一个区块,只是文件名字不同而已,创建出来的硬链接与文件与源文件对文件系统来说是完全平等的关系。
inode数据结构中记录了文件的硬链接数,当为文件每创建一个硬链接,inode节点上的链接数就会加1,每删除一个硬链接,inode节点上的链接数就会减1,直到为0,inode节点和对应的数据块才会被文件系统回收。
软链接
软链接文件与 源文件有着不同的inode号,意味着它们之间有不同的数据块,但是软链接文件的数据库中存储的是源文件的路径名,链接文件可以通过这个路径找到被链接的源文件。
当源文件被删除之后,软链接文件依然存在,此时它指向一个无效的文件路径,这种链接文件被称为悬空链接。
- 不能对目录创建硬链接
- 硬链接通常要求链接文件和源文件在同一文件系统中
- 软链接可以对目录创建软链接
- 软链接可以跨不同文件系统
- 可以对不存在的文件创建软链接
symlink()系统调用用于创建软链接文件。
读取软链接文件
软链接文件数据库中存储的是被链接文件的路径信息,用系统调用readlink来读取。
反转链表二
/**
* Definition for singly-linked list.
* struct ListNode {
* int val;
* ListNode *next;
* ListNode() : val(0), next(nullptr) {}
* ListNode(int x) : val(x), next(nullptr) {}
* ListNode(int x, ListNode *next) : val(x), next(next) {}
* };
*/
class Solution {
private:
void reverseLinkedList(ListNode* head){
ListNode* pre = nullptr;
ListNode* cur = head;
while(cur){
ListNode* next = cur->next;
cur->next = pre;
pre = cur;
cur = next;
}
}
public:
ListNode* reverseBetween(ListNode* head, int left, int right) {
//因为头节点可能发生变化,使用虚拟节点就可以避免分类讨论
ListNode* dummyNode = new ListNode(-1, head);
//找到left的前一个节点
ListNode* pre = dummyNode;
for(int i=0; i<left-1; i++){
pre = pre->next;
}
//找到right节点
ListNode* rightNode = pre;
for(int i=0; i<right-left+1; i++){
rightNode = rightNode->next;
}
//截断要翻转的链表
ListNode* leftNode = pre->next;
pre->next = nullptr;
ListNode* nextNode = rightNode->next;
rightNode->next = nullptr;
//翻转链表
reverseLinkedList(leftNode);
//重新接回原来的链表中
pre->next = rightNode;
leftNode->next = nextNode;
return dummyNode->next;
}
};