Node.js接收文件分片数据并进行合并处理

前言:上一篇文章讲了如何进行文件的分片:Vue3使用多线程处理文件分片任务,那么本篇文章主要看一下后端怎么接收前端上传来的分片并进行合并处理。

目录:

  • 一、文件结构
  • 二、主要依赖
    • 1. `express`
    • 2. `multer`
    • 3. `fs` (文件系统模块)
    • 4. `path`
    • 5. `cors`
    • 6. `body-parser`
    • 总结:
  • 三、示例代码
  • 四、资源地址

一、文件结构

在这里插入图片描述

  1. chunks:文件分片存储;
  2. node_modules:依赖;
  3. uploads:合并后的文件存储目录;
  4. index.js:程序主文件;

二、主要依赖

1. express

const express = require('express');
  • 作用express 是一个流行的 Node.js Web 框架,它提供了一组简单的工具和功能,用于构建 Web 服务器和处理 HTTP 请求。它简化了路由、请求和响应的处理,使开发者能够更快速地构建 Web 应用。
  • 用法:通过 express() 创建应用实例并处理路由、请求、响应等。
  • 下载
npm i express -S

2. multer

const multer = require('multer');
const upload = multer({ dest: 'uploads/' });
  • 作用multer 是一个 Node.js 中间件,专门用于处理 multipart/form-data 类型的表单数据,尤其是文件上传。它可以将上传的文件保存到磁盘、内存或自定义位置。
  • 用法multer 配置了存储路径 dest: 'uploads/',表示将上传的文件临时保存在 uploads/ 目录下。通过 upload.single('file')upload.array('files') 可以处理单个文件或多个文件的上传。
  • 下载
npm i multer -S

3. fs (文件系统模块)

const fs = require('fs');
  • 作用fs 是 Node.js 内置的文件系统模块,提供了用于文件和目录操作的 API。它允许你读取文件、写入文件、删除文件、列出目录等。
  • 用法fs 允许对本地文件系统执行同步和异步操作,常用于文件上传、存储、读取等操作。

4. path

const path = require('path');
  • 作用path 是 Node.js 内置模块,提供了一些用于处理文件和目录路径的实用工具函数。它使得路径的操作变得更加简单且跨平台。
  • 用法:常见的用法包括拼接路径、解析路径、获取文件扩展名等。例如,path.join() 用于安全地拼接路径,path.extname() 获取文件的扩展名。

5. cors

const cors = require('cors');
  • 作用cors 是一个中间件,用于处理跨源资源共享(CORS)请求。CORS 是一种机制,允许在不同域之间进行资源共享。cors 中间件允许你设置哪些源(域)可以访问服务器的资源。
  • 用法:通过 app.use(cors()) 启用跨域请求支持,允许所有域访问该服务器。你也可以通过 cors({origin: 'http://example.com'}) 配置只允许指定的源访问。
  • 下载
npm i cors -S

6. body-parser

const Parser = require("body-parser");
  • 作用body-parser 是 Express 中间件的一个旧版库,用于解析请求的 body 部分。它支持将请求体解析为 JSON、URL 编码格式等,并将解析后的数据附加到 req.body 上。
  • 用法:可以使用 Parser.json()Parser.urlencoded() 来分别解析 JSON 数据和 URL 编码的数据。
    • Parser.json():用于解析 application/json 类型的请求体,将其解析为 JavaScript 对象。
    • Parser.urlencoded({ extended: true }):用于解析 URL 编码的表单数据,extended 选项为 true 时,支持更复杂的对象和数组解析。
    • Parser.json({limit:'5gb'}):限制请求体的大小为 5GB。
  • 下载
npm i body-parser -S

总结:

  • express:用来创建 Web 服务器和路由。
  • multer:用来处理文件上传。
  • fs:用于操作文件系统(如读取、写入文件)。
  • path:提供路径操作的工具,跨平台支持。
  • cors:用于处理跨域请求,允许不同域访问资源。
  • body-parser:解析 HTTP 请求体(JSON 或 URL 编码数据),并将其附加到 req.body 中。

三、示例代码

关于如何使用,在 Vue3使用多线程处理文件分片任务 中有介绍到,感兴趣的可以去看看。

const express = require('express');
const multer = require('multer');
const fs = require('fs');
const path = require('path');
const cors = require('cors')
const Parser = require("body-parser");

// 创建 express 应用
const app = express();
const upload = multer({ dest: 'uploads/' });
// parse application/x-www-form-urlencoded
app.use(Parser.json({limit:'5gb'}));
app.use(Parser.urlencoded({limit:'5gb',extended:true}));
// parse application/json
app.use(Parser.json());
app.use(cors())

// 接收分片
app.post("/upload-chunk", upload.single("file"), (req, res) => {
    const { chunkIndex, hash, fileName } = req.body; // 分片索引、哈希值、文件名
    const chunk = req.file; // 上传的分片文件
    const chunkDir = path.join(__dirname, "chunks", fileName); // 存储分片的目录
    if (!fs.existsSync(chunkDir)) fs.mkdirSync(chunkDir, { recursive: true });  //文件夹不存在则进行创建
    // chunkDir 命名时候需要注意,尽量进行标识以防文件名冲突
    const chunkPath = path.join(chunkDir, `${chunkIndex}-${hash}`); // 分片文件名加哈希
    fs.rename(chunk.path, chunkPath, (err) => {
        if (err) {
            console.error("存储分片失败:", err);
            return res.json({code:500, msg: "存储失败,请重新上传" });
        }
        res.json({ code:200, msg: ` ${chunkIndex} 上传成功` });
    });
});
// 合并文件
app.post("/merge-chunks", async (req, res) => {
    const { fileName, totalChunks } = req.body;
    const chunkDir = path.join(__dirname, "chunks", fileName);
    const targetPath = path.join(__dirname, "uploads", fileName); // 最终文件存储路径
    try {
        // 确保目标文件不存在
        if (fs.existsSync(targetPath)) {
            fs.unlinkSync(targetPath);
        }
        const writeStream = fs.createWriteStream(targetPath);
        for (let i = 0; i < totalChunks; i++) {
            const chunkFiles = fs.readdirSync(chunkDir).filter((file) => file.startsWith(`${i}-`));
            if (chunkFiles.length === 0) {
                res.json({code:500, msg: "上传失败,请重新上传" });
                throw new Error(`分片缺失: ${i}`);
            }
            // 读取分片内容
            const chunkPath = path.join(chunkDir, chunkFiles[0]);
            const data = fs.readFileSync(chunkPath);
            writeStream.write(data);
            // 删除已合并分片
            fs.unlinkSync(chunkPath);
        }

        writeStream.end();

        // 删除分片目录
        fs.rmdirSync(chunkDir);
        res.json({ code:200, msg: "文件上传成功", path: '/uploads/' + fileName });
    } catch (err) {
        console.error("合并文件失败:", err);
        res.json({code:500, msg: "文件合并失败" });
    }
});

// 启动服务器
const PORT = 3000;
app.listen(PORT, '0.0.0.0', () => {
    console.log(`Server started on http://localhost:${PORT}`);
})

四、资源地址

csdn内地址:资源下载
gitee地址:chunk资源

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/958017.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

《offer 来了:Java 面试核心知识点精讲 -- 框架篇》(附资源)

继上篇文章介绍了《offer 来了&#xff1a;Java 面试核心知识点精讲 -- 原理篇》书后&#xff0c;本文章再给大家推荐兄弟篇 《offer来了&#xff1a;Java面试核心知识点精讲--框架篇》&#xff0c; 简直就是为Java开发者量身定制的面试神器。 本书是对Java程序员面试中常见的…

iOS 权限管理:同时请求相机和麦克风权限的最佳实践

引言 在开发视频类应用时&#xff0c;我们常常会遇到需要同时请求相机和麦克风权限的场景。比如&#xff0c;在用户发布视频动态时&#xff0c;相机用于捕捉画面&#xff0c;麦克风用于录制声音&#xff1b;又或者在直播功能中&#xff0c;只有获得这两项权限&#xff0c;用户…

docker Ubuntu实战

目录 Ubuntu系统环境说明 一、如何安装docker 二、发布.netcore应用到docker中 Ubuntu系统环境说明 cat /etc/os-release PRETTY_NAME"Ubuntu 22.04.5 LTS" NAME"Ubuntu" VERSION_ID"22.04" VERSION"22.04.5 LTS (Jammy Jellyfish)&quo…

线上突发:MySQL 自增 ID 用完,怎么办?

线上突发&#xff1a;MySQL 自增 ID 用完&#xff0c;怎么办&#xff1f; 1. 问题背景2. 场景复现3. 自增id用完怎么办&#xff1f;4. 总结 1. 问题背景 最近&#xff0c;我们在数据库巡检的时候发现了一个问题&#xff1a;线上的地址表自增主键用的是int类型。随着业务越做越…

Golang之Context详解

引言 之前对context的了解比较浅薄&#xff0c;只知道它是用来传递上下文信息的对象&#xff1b; 对于Context本身的存储、类型认识比较少。 最近又正好在业务代码中发现一种用法&#xff1a;在每个协程中都会复制一份新的局部context对象&#xff0c;想探究下这种写法在性能…

从桌面到前端:效率与渲染优化的技术进化20250122

从桌面到前端&#xff1a;效率与渲染优化的技术进化 在应用开发的广袤天地中&#xff0c;我们见证了从传统桌面开发&#xff08;如 MFC、PyQt&#xff09;向现代 Web 前端框架&#xff08;如 React、Vue&#xff09;的华丽转变。这一变革犹如一场技术革命&#xff0c;带来了开…

web服务器 网站部署的架构

WEB服务器工作原理 Web web是WWW(World Wide Web)的简称&#xff0c;基本原理是&#xff1a;请求(客户端)与响应(服务器端)原理&#xff0c;由遍布在互联网中的Web服务器和安装了Web浏览器的计算机组成 客户端发出请求的方式&#xff1a;地址栏请求、超链接请求、表单请求 …

快速构建springboot+vue后台管理系统

项目介绍 1.需求定义&#xff1a;外包项目如雨后春笋&#xff0c;开发工期被迫压缩&#xff0c;为了开发人员专注开发项目业务&#xff0c;早点下班能陪老婆、孩子。 2.产品定位: 简约后台管理系统 3.项目特点&#xff1a;此项目代码清晰、界面简洁、springboot layuiadmin 构…

C语言--数据在内存中的存储

数据在内存中的存储 主要研究整型和浮点型在内存中的存储。 1. 整数在内存中的存储 在学习操作符的时候&#xff0c;就了解过了下面的内容&#xff1a; 整数的2进制表示方法有三种&#xff0c;即原码、反码和补码。 有符号的整数&#xff0c;三种表示方法均有符号位和数值…

HTB:Sauna[WriteUP]

目录 连接至HTB服务器并启动靶机 信息收集 使用rustscan对靶机TCP端口进行开放扫描 将靶机TCP开放端口号提取并保存 使用nmap对靶机TCP开放端口进行脚本、服务扫描 使用nmap对靶机TCP开放端口进行漏洞、系统扫描 使用nmap对靶机常用UDP端口进行开放扫描 使用nmap对靶机…

wireshark工具简介

目录 1 wireshark介绍 2 wireshark抓包流程 2.1 选择网卡 2.2 停止抓包 2.3 保存数据 3 wireshark过滤器设置 3.1 显示过滤器的设置 3.2 抓包过滤器 4 wireshark的封包列表与封包详情 4.1 封包列表 4.2 封包详情 参考文献 1 wireshark介绍 wireshark是非常流行的网络…

2025.1.20——一、[RCTF2015]EasySQL1 二次注入|报错注入|代码审计

题目来源&#xff1a;buuctf [RCTF2015]EasySQL1 目录 一、打开靶机&#xff0c;整理信息 二、解题思路 step 1&#xff1a;初步思路为二次注入&#xff0c;在页面进行操作 step 2&#xff1a;尝试二次注入 step 3&#xff1a;已知双引号类型的字符型注入&#xff0c;构造…

kong 网关和spring cloud gateway网关性能测试对比

该测试只是简单在同一台机器设备对spring cloud gateway网关和kong网关进行对比&#xff0c;受限于笔者所拥有的资源&#xff0c;此处仅做简单评测。 一、使用spring boot 的auth-service作为服务提供者 该服务提供了一个/health接口&#xff0c;接口返回"OK"&…

winfrom项目,引用EPPlus.dll实现将DataTable 中的数据保存到Excel文件

最近研究不安装office也可以保存Excel文件&#xff0c;在网上查询资料找到这个方法。 第一步&#xff1a;下载EPPlus.dll文件&#xff08;自行去网上搜索下载&#xff09; 第二步&#xff1a;引用到需要用的项目中&#xff0c;如图所示&#xff1a; 第三步&#xff1a;写代码…

框架层实现cpu高负载(cpuload)的检测方案

摘要 这是2018年在小厂的老方案了&#xff0c;现在看方案已经过时了也不太合理&#xff0c;仅供参考&#xff0c;上层框架开启一个5分钟定时器&#xff0c;检测5分钟内总cpu负载和每个线程cpu负载情况&#xff0c;当检测到cpu负载大于绿盟性能或功耗定义的阈值时&#xff0c;结…

Android BitmapShader简洁实现马赛克,Kotlin(一)

Android BitmapShader简洁实现马赛克&#xff0c;Kotlin&#xff08;一&#xff09; 这一篇&#xff0c; Android使用PorterDuffXfermode模式PorterDuff.Mode.SRC_OUT橡皮擦实现马赛克效果&#xff0c;Kotlin&#xff08;3&#xff09;-CSDN博客 基于PorterDuffXfermode实现马…

人工智能在数字化转型中的角色:从数据分析到智能决策

引言 在数字化转型浪潮中&#xff0c;人工智能&#xff08;AI&#xff09;正迅速崛起&#xff0c;成为推动企业创新和变革的关键力量。面对日益复杂的市场环境和激烈的行业竞争&#xff0c;企业亟需借助技术手段提高运营效率、优化决策过程&#xff0c;并增强市场竞争力。而AI…

「全网最细 + 实战源码案例」设计模式——工厂方法模式

核心思想 简单工厂模式是一种创建者模式&#xff0c;它通过一个工厂类负责创建不同类型的对象&#xff0c;根据传入的参数决定实例化的具体类&#xff0c;也被称为“静态工厂方法”模式&#xff0c;因为工厂方法通常是静态的。 结构 1. 工厂类&#xff1a; 提供一个静态方法…

我的图形布局 组织结构图布局

组织结构图布局,有的人也叫它树状布局,在图形中是经常用到的布局算法.形成类似如下图的图形布局方式 首先创建一个类, public class TreeLayouter {private int m_space 40;/// <summary>/// 空间间隔/// </summary>public int Space{get { return m_space; }se…

Golang:使用DuckDB查询Parquet文件数据

本文介绍DuckDB查询Parquet文件的典型应用场景&#xff0c;掌握DuckDB会让你的产品分析能力更强&#xff0c;相反系统运营成本相对较低。为了示例完整&#xff0c;我也提供了如何使用Python导出MongoDB数据。 Apache Parquet文件格式在存储和传输大型数据集方面变得非常流行。最…