目录
一、文件IO引发的项目血案
1、分析
一、Linux文件系统基本概念
1、文件系统接口
2、文件系统缓存
二、文件IO 访问方式概述
1、标准文件访问方式
2、直接IO
3、实现方式
4、缓存同步
5、Linux 文件IO流程图
6、血案解决
一、文件IO引发的项目血案
事件经过: 下午某时,一个重要客户的一封邮件不见了,客户要求公司赔偿他上百万的损失!在一个通宵后找到了问题所在,write 函数出问题了,邮件写入文件时write 返回成功,但写入大文件中的邮件内容不见了。一致认为write 函数执行完成后数据还没同步到物理存储的间隔系统出现宕机了............
1、分析
一、Linux文件系统基本概念
1、文件系统接口
文件系统 -一种把数据组织成文件和目录的存储方式,提供了基于文件的存取接口,并通过文件权限控制访问。
2、文件系统缓存
主存(通常是DRAM)的一块区域,用来缓存文件系统的内容,包含各种数据和元数据。
二、文件IO 访问方式概述
1、标准文件访问方式
2、直接IO
3、实现方式
open +O_DIRECT = 绕过内核缓冲区的直接访问,便有效避免了CPU和内存的多余时间开销。
注意:
后者只对写数据有效,它将写入内核缓冲区的数据立即写入磁盘,将机器故障时
数据的丢失减少到最小,但是它仍然要经过内核缓冲区。
4、缓存同步
缓存同步 -为了保证磁盘系统与缓冲区中内容一致,Linux 系统提供了 sync、fsync 和fdatasync 三个函数.
函数描述:向打开的文件写数据; 成功返回写入的字节数,若出错,返回-1。
头文件:#include <unistd.h>
int fsync(int fd);
int fdatasync(int fd);
void sync(void);
说明:
sync - 将所有修改过的块缓冲区排入写队列,然后就返回,它并不等待实际写磁盘操作结束。
fsync - 将fd对应文件的块缓冲区立即写入磁盘,并等待实际写磁盘操作结束返回。
fdatasync - 类似fsync,但只影响文件的数据部分。而除数据外,fsync 还会同步更新文件属性。