Linux笔记之使用系统调用sendfile高速拷贝文件

Linux笔记之使用系统调用sendfile高速拷贝文件

code review!

文章目录

  • Linux笔记之使用系统调用sendfile高速拷贝文件
    • `sendfile` 性能优势
    • `sendfile` 系统调用
      • 优点:
      • 缺点:
    • `cp` 命令
      • 优点:
      • 缺点:
    • 实际测试:拷贝5.8个G的文件,cp使用25s,sendfile只用7.49s,快了四倍

sendfile 系统调用是 Linux 特有的函数,用于在两个文件描述符之间直接传输数据。这可以减少用户态和内核态之间的数据拷贝,从而提高文件拷贝的性能。sendfile 通常比使用普通的 readwrite 系统调用更快,尤其是在处理大文件时。

sendfile 性能优势

  1. 减少数据拷贝sendfile 在内核内直接把数据从一个文件描述符传输到另一个文件描述符,而不需要将数据从内核态拷贝到用户态再拷贝回内核态。
  2. 减少系统调用的开销:对于大文件拷贝,sendfile 只需要一次系统调用,而传统方法可能需要多次 readwrite 调用。
  3. 更少的上下文切换:由于减少了系统调用次数,sendfile 也减少了用户态和内核态之间的上下文切换。

sendfile 系统调用

sendfile 它主要用于网络传输,但也可以用于文件复制。sendfile 的设计目的是减少数据复制的次数,从而提高性能。

优点:

  1. 减少上下文切换: sendfile 可以直接在内核空间处理数据传输,避免了用户空间和内核空间之间的上下文切换。
  2. 高效: 它可以减少内存拷贝的次数,因为数据不需要从内核空间拷贝到用户空间再回到内核空间。
  3. 适合大文件传输: 对于大文件传输,sendfile 可以显著减少 CPU 占用和提高传输速度。

缺点:

  1. 灵活性较低: sendfile 主要用于文件描述符之间的传输,不如一些用户空间的工具灵活。
  2. 依赖于内核版本: sendfile 的性能和功能可能会受到内核版本的影响。

cp 命令

cp 是一个用户空间工具,用于复制文件和目录。它使用标准的文件 I/O 操作来实现文件复制。

优点:

  1. 易用性: cp 命令简单易用,支持各种选项,可以处理复杂的文件复制需求。
  2. 广泛支持: 几乎所有的 Unix/Linux 系统都支持 cp 命令,且不依赖于特定的内核版本。
  3. 灵活: cp 命令支持递归复制、保留文件属性等多种操作。

缺点:

  1. 性能较低: 由于 cp 命令在用户空间运行,涉及多次上下文切换和内存拷贝,性能可能不如 sendfile
  2. 高 CPU 使用率: 对于大文件复制,cp 命令可能会占用较高的 CPU 资源。

实际测试:拷贝5.8个G的文件,cp使用25s,sendfile只用7.49s,快了四倍

在这里插入图片描述

代码

#include <sys/sendfile.h>
#include <fcntl.h>
#include <unistd.h>
#include <iostream>
#include <chrono>
#include <sys/stat.h>

bool copyFileSendfile(const std::string& src, const std::string& dest) {
    int source = open(src.c_str(), O_RDONLY);
    int destination = open(dest.c_str(), O_WRONLY | O_CREAT | O_TRUNC, 0644);

    if (source < 0 || destination < 0) {
        std::cerr << "Error opening files!" << std::endl;
        return false;
    }

    struct stat stat_buf;
    fstat(source, &stat_buf);
    off_t offset = 0;

    auto start = std::chrono::high_resolution_clock::now();
    if (sendfile(destination, source, &offset, stat_buf.st_size) == -1) {
        std::cerr << "Error using sendfile!" << std::endl;
        close(source);
        close(destination);
        return false;
    }
    auto end = std::chrono::high_resolution_clock::now();

    close(source);
    close(destination);

    std::chrono::duration<double> duration = end - start;
    std::cout << "Sendfile copy took " << duration.count() << " seconds" << std::endl;

    return true;
}

int main(int argc, char* argv[]) {
    if (argc != 3) {
        std::cerr << "Usage: " << argv[0] << " <source_file> <destination_file>" << std::endl;
        return 1;
    }

    std::string sourceFile = argv[1];
    std::string destinationFile = argv[2];

    if (copyFileSendfile(sourceFile, destinationFile)) {
        std::cout << "File copied successfully!" << std::endl;
    } else {
        std::cerr << "File copy failed!" << std::endl;
        return 1;
    }

    return 0;
}

编译

g++ main.cpp -o main

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/791253.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

14-63 剑和诗人37 - 分布式系统中的数据访问设计

​​ 在分布式系统中,跨服务和数据库提供统一、可靠的数据访问至关重要,但又极具挑战性。微服务和数据库的拓扑结构为分布、缓存、复制和同步带来了复杂性。 让我们探索有助于解决这些复杂性并简化构建强大、高性能分布式系统的常见数据访问模式。 概述 我们将通过示例介绍…

苹果手机抹机(马来西亚)操作步骤

苹果手机抹机&#xff08;马来西亚&#xff09;操作步骤 操作环境操作步骤 操作环境 苹果6s&#xff0c;没有插卡&#xff0c;就连接上了一个wifi 操作步骤

领取serv00免费虚拟主机

参考 ‍ 教程地址【免费serv00虚拟机SSH登录搭建网站】 ‍ 领取地址 ​​ 领到了 ​​ SSH登录要魔法&#xff0c;网页登录不用 ​​ 轻松搭建自己的静态网站 ​​ ‍ soulio.serv00.net 网页加载速度还可以。 ​​ ‍ ‍

Qt/QML学习-定位器

QML学习 定位器例程视频讲解代码 main.qml import QtQuick 2.15 import QtQuick.Window 2.15Window {width: 640height: 480visible: truetitle: qsTr("positioner")Rectangle {id: rectColumnwidth: parent.width / 2height: parent.height / 2border.width: 1Col…

Django 框架下的media和static静态文件

Django有两种静态文件 static&#xff1a; 静态文件夹&#xff0c;存放CSS,JS,网站的一些图片等静态资源&#xff0c;为Templates下的html页面提供的。static是不会变化的 media&#xff1a;媒体文件夹&#xff0c;存放网站中用户所相关的一些文件&#xff0c;比如说用户的图片…

杜比全景声——空间音频技术

什么是杜比&#xff1f;是否是标清、高清、超清之上的更清晰的格式&#xff1f;杜比全景声 和传统多声道立体声的差别&#xff1f;杜比全景声音频的渲染方式&#xff1f;车载平台上杜比技术的应用&#xff1f; 杜比技术的起源 杜比实验室&#xff08;Dolby Laboratories&…

SpringBoot使用RedisTemplate、StringRedisTemplate操作Redis

前言 RedisTemplate 是 Spring Boot 访问 Redis 的核心组件&#xff0c;底层通过 RedisConnectionFactory 对多种 Redis 驱动进行集成&#xff0c;上层通过 XXXOperations 提供丰富的 API &#xff0c;并结合 Spring4 基于泛型的 bean 注入&#xff0c;极大的提供了便利&#x…

【计算机网络03】不花钱怎么搭建一个网络实验室

使用GNS3和虚拟机搭建网络实验室 1、安装抓包工具分析数据包2、定义和使用抓包筛选器3、安装和配置GNS34、配置路由器和VPCS5、使用WireShark捕获GNS3网络数据包6、VMware创建虚拟机7、使用思科PacketTracer 1、安装抓包工具分析数据包 官网安装wireshark&#xff1a;https://…

LLM大模型应用中的安全对齐的简单理解

LLM大模型应用中的安全对齐的简单理解 随着人工智能技术的不断发展&#xff0c;大规模语言模型&#xff08;如GPT-4&#xff09;的应用越来越广泛。为了保证这些大模型在实际应用中的性能和安全性&#xff0c;安全对齐&#xff08;Safe Alignment&#xff09;成为一个重要的概…

Nginx中文URL请求404

这两天正在搞我的静态网站。方案是&#xff1a;从思源笔记Markdown笔记&#xff0c;用MkOcs build成静态网站&#xff0c;上传到到Nginx服务器。遇到一个问题&#xff1a;URL含有中文会404&#xff0c;全英文URL则正常访问。 ‍ 比如&#xff1a; ​​ ‍ 设置了utf-8 ht…

时序分解 | Matlab基于ESMD极点对称模态分解

时序分解 | Matlab基于ESMD极点对称模态分解 目录 时序分解 | Matlab基于ESMD极点对称模态分解效果一览基本介绍程序设计参考资料 效果一览 基本介绍 ESMD&#xff08;Extreme-point Symmetric Mode Decomposition&#xff09;是一种信号分解方法&#xff0c;用于提取信号中的模…

AC修炼计划(AtCoder Regular Contest 180) A~C

A - ABA and BAB A - ABA and BAB (atcoder.jp) 这道题我一开始想复杂了&#xff0c;一直在想怎么dp&#xff0c;没注意到其实是个很简单的规律题。 我们可以发现我们住需要统计一下类似ABABA这样不同字母相互交替的所有子段的长度&#xff0c;而每个字段的的情况有&#xff…

LoRaWAN网络协议Class A/Class B/Class C三种工作模式说明

LoRaWAN是一种专为广域物联网设计的低功耗广域网络协议。它特别适用于物联网&#xff08;IoT&#xff09;设备&#xff0c;可以在低数据速率下进行长距离通信。LoRaWAN 网络由多个组成部分构成&#xff0c;其中包括节点&#xff08;终端设备&#xff09;、网关和网络服务器。Lo…

web后端开发--请求响应

目录 前言 请求 简单参数 原始方法 Spring方式 Post请求乱码处理 实体参数 简单实体参数 复杂实体参数 ​编辑 数组集合参数 数组参数 ​编辑 集合参数 日期参数 ​编辑 Json参数 ​编辑 传递json数据 json数组 json对象&#xff08;POJO&#xff09; jso…

分享一个项目模板electron+vue+ts+vite

分享一个项目模板electronvuetsvite GitHub - xiugou798/electron-vue-ts-vite-template: electron-vue-ts-vite-templateelectron-vue-ts-vite-template. Contribute to xiugou798/electron-vue-ts-vite-template development by creating an account on GitHub.https://gith…

springboot中通过jwt令牌校验以及前端token请求头进行登录拦截实战

前言 大家从b站大学学习的项目侧重点好像都在基础功能的实现上&#xff0c;反而一个项目最根本的登录拦截请求接口都不会写&#xff0c;怎么拦截&#xff1f;为什么拦截&#xff1f;只知道用户登录时我后端会返回一个token&#xff0c;这个token是怎么生成的&#xff0c;我把它…

打印任务无法删除怎么办?

在删除打印任务的时候&#xff0c;你可能会遇到这样的情况&#xff0c;当我们想把打印任务取消的时候&#xff0c;却一直显示正在删除&#xff0c;而过了很久还没有取消掉&#xff0c;下面就分享一下处理这个问题的方法。 1、停止打印服务&#xff0c;按WinR键打开运行对话框&a…

香蕉派BPI-Wifi6迷你路由器公开发售

Banana Pi BPI-Wifi6 Mini 公开发售。 Banana Pi BPI-Wifi6 Mini 开源路由器采用Triductor TR6560 TR5220 wifi SOC设计&#xff0c;是一款迷你尺寸的wifi6路由器解决方案。内置高性能双核ARM Cortec A9处理器用于WIFI报文转发或智能业务处理&#xff0c;内置高性能LSW和硬件N…

阿里云操作系统智能助手OS Copilot实验测评报告

简介&#xff1a;作为一名学生&#xff0c;阿里云操作系统智能助手OS Copilot对学生的帮助主要体现在提高学习效率、简化操作流程和优化系统管理等方面。通过其丰富的功能&#xff0c;从系统信息的快速获取到复杂的系统运维管理&#xff0c;OS Copilot都能为学生提供极大的便利…

谷歌内置AI部署

感谢阅读 准备工作开启功能查看下载情况安装插件效果截图网页版地址&#xff08;需进行前面的所有步骤&#xff09; 准备工作 点我下载谷歌dev版本 注意这个版本不需要卸载之前版本 开启功能 使用下载的浏览器依次导航到下面两个地方&#xff0c;然后点击enablebypass以及en…