Linux服务器大文件或多文件上传下载问题

在服务器空间足够、网络稳定和会话时长不受限情况下,问题比较简单,直接 scp 就行,或者 tar  -czvf  archive.tar.gz  /path/to/directory  先打包压缩再 scp。

如果网络不太稳定,可以考虑文件分割,这样可以避免一旦失败重新开始的代价过高: tar  -czvf  -  /path/to/directory  |   split  -b  500M  -   archive.tar.gz.part   (因为中间“文件”只是管道媒介,所以用 - 就行了,生成的分片文件前缀为 archive.tar.gz.part),恢复的时候用  cat  archive.tar.gz.part*   >   archive.tar.gz  再  tar  -xvzf  archive.tar.gz  或者用管道一步到位  cat  archive.tar.gz.part*  |  tar  -xvzf  -

tar 命令可以排除文件:tar  --exclude=/path/to/exclude  -czvf  archive.tar.gz  /path/to/directory  (--exclude可以多个,如 tar  --exclude=/path/to/exclude1  --exclude=/path/to/exclude2  ...)

结合 find 命令可以筛选打包:比如过去7天内修改过的文件  find  /path/to/directory   -type  f  -mtime  -7  |  tar  -cvzf  archive.tar.gz  -T  -

使用 ls 、xargs 等也可以筛选文件打包: 如  ls  -ltr  |  tail  -n  10  |  xargs  tar  -czvf  archive.tar.gz

觉得scp比较麻烦,本身安装了 secureCRT 的话,可以服务器安装 lrzsz  (服务器输入 rz 表示服务器接收文件,sz则是服务器发送文件,没有lrzsz可以安装),服务器 rz 接收文件,然后 secureCRT 菜单 Transfer - Zmodem Upload List 选择要上传哪些文件,再点 Start Upload 即可。注意,rz 对于太大太大的文件可能有大小4GB限制(我没试过 rz  -be 选项,此种情况可以考虑sftp,参考 secureCRT在Windows和Linux间传输大于4G文件解决方案_securecrt下载文件有限制吗-CSDN博客),这个方法比较适合用了secureCRT并且要传的是不是太大的许多文件的情况。另外,要防止会话超时问题,可以先设置secureCRT菜单 Options - Session Options:Terminal :Send protocol NO-OP  every __ seconds  勾选并设定时间,按间隔发送心跳包。

当然,用 FileZilla 代替 scp 也是非常方便的。(可惜我遇到的深信服的东西要转发进入,就不能使用 FileZilla 神器了)。

当文件很多时,不宜使用  ls  -l  来查看,因为会等待很多时间, ls  -lt 或 -ltr  |  head 或 tail  -n  10 类似这样查看头尾部分,或者  ls  -l   |   wc  -l  统计有几个文件(其实是有几行)

对于 ftp 上传下载,本来我试图自己写 PHP脚本解决问题,但自己写PHP脚本,需要解决一些问题:网络断了怎么办?(对于续传我暂时没有试验成功,参考 如何通过PHP在FTP服务器中实现断点续传-每日运维)文件很大会否 PHP 内存溢出?后来发现lftp本身支持断点续传(另一篇中转载了该方法),所以暂时不研究自己实现了。

直接在服务器从其他服务器拖数据,需要考虑和服务器会话超时问题,相对来说,用 screen 是比较好的方式,这样终端断开服务器也没有关系,不会导致运行的命令被终止。参考Linux终端命令神器--Screen命令详解。助力Linux使用和管理-腾讯云开发者社区-腾讯云

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/944394.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

头部固定的响应式jQuery表格插件

jquery.fixme是一款头部固定的响应式jQuery表格插件。该表格通过jQuery来构造固定的表格头效果&#xff0c;在页面向下滚动时&#xff0c;表格头固定在页面的顶部。 在线预览 下载 使用方法 HTML结构 该表格的HTML结构使用标准的HTML表格的结构&#xff1a; <table clas…

系统思考—冰山模型

“卓越不是因机遇而生&#xff0c;而是智慧的选择与用心的承诺。”—— 亚里士多德 卓越&#xff0c;从来不是一次性行为&#xff0c;而是一种习惯。正如我们在日常辅导中常提醒自己&#xff1a;行为的背后&#xff0c;隐藏着选择的逻辑&#xff0c;而选择的根源&#xff0c;源…

基于aspose.words组件的word bytes转pdf bytes,去除水印和解决linux中文乱码问题

详情见 https://preferdoor.top/archives/ji-yu-aspose.wordszu-jian-de-word-byteszhuan-pdf-bytes

文档大师:打造一站式 Word 报告解决方案1

前言 在政府、医院、银行、财务以及销售等领域&#xff0c;常常需要创建各种报告文件来展开工作汇报&#xff0c;譬如季度销售报告、年度总结报告、体检报告和保险合同等。在没有报表工具支持之前&#xff0c;这类报告主要通过 Word 制作&#xff0c;费时费力且难以维护&#…

不安全物联网的轻量级加密:综述

Abstract 本文综述了针对物联网&#xff08;IoT&#xff09;的轻量级加密解决方案。这项综述全面覆盖了从轻量级加密方案到不同类型分组密码的比较等多个方面。同时&#xff0c;还对硬件与软件解决方案之间的比较进行了讨论&#xff0c;并分析了当前最受信赖且研究最深入的分组…

实现某海外大型车企(T)Cabin Wi-Fi 需求的概述 - 4

大家好&#xff0c;我是Q&#xff0c;邮箱&#xff1a;1042484520qq.com。 今天我们在上几讲的基础上再扩展下 Cabin Wi-Fi 的功能需求&#xff0c;讲讲如何使能 5G TCU Wi-Fi STA Bridge 模式。 参考&#xff1a; 实现某海外大型车企&#xff08;T&#xff09;Cabin Wi-Fi 需求…

当视觉提示调优遇到无源领域自适应语义分割

首先将源预训练骨干与冻结参数分为多个阶段&#xff0c;并提出了一个轻量级的提示适配器&#xff0c;用于渐进地将信息性知识编码为提示&#xff0c;并增强相邻骨干阶段之间目标特征的泛化。 同时&#xff0c;设计了一种具有多尺度一致性损失的新型自适应伪标签校正策略&#x…

40.2 预聚合和prometheus-record使用

本节重点介绍 : downsample降采样可以降低查询数据量 prometheus原生不支持downsample 实时查询/聚合 VS 预查询/聚合的优缺点 实时查询/聚合条件随意组合&#xff0c;性能差预查询/聚合 性能好&#xff0c;聚合条件需要提前定义 prometheus的预查询/聚合配置举例 downsample…

Docker安装GPUStack详细教程

目录 前置条件 安装Nvidia Container Tooikit 前置条件 DockerNvidia Container Toolkit 安装Nvidia Container Tooikit 1.安装必要的包 # 更新系统 sudo apt update && sudo apt upgrade -y# 安装 CUDA 相关包 sudo apt-get install -y cuda-drivers nvidia-cuda-…

Intent--组件通信

组件通信1 获取子活动的返回值 创建Activity时实现自动注册&#xff01;【Activity必须要注册才能使用】 默认 LinearLayout 布局&#xff0c;注意 xml 中约束布局的使用&#xff1b; 若需要更改 线性布局 只需要将标签更改为 LinearLayout 即可&#xff0c;记得 设置线性布局…

overleaf中文生僻字显示不正确,显示双线F

我是不想换全文字体的&#xff0c;只是一个生僻字显示不出来&#xff0c;就想要像word一样&#xff0c;把这个生僻字用包含这个生僻字的字体来显示就好了。 解决步骤&#xff1a; 1、使用如下宏包&#xff1a; \usepackage{xeCJK} %声明宏包&#xff0c;主要用于支持在XeTeX…

info There appears to be trouble with your network connection. Retrying

这个错误信息表明你在使用包管理器安装项目依赖时遇到了网络连接问题。 可能的解决方法&#xff1a; 检查当前node.js版本是否过低。 建议使用当前长期支持版本 yarn的淘宝镜像&#xff1a;yarn的淘宝镜像-CSDN博客 nvm常用命令:NVM常用命令-CSDN博客 下载 | Node.js 中文…

使用 HTML 和 CSS 实现绚丽的节日烟花效果

文章目录 1. 效果预览2. 核心技术栈3. 核心代码解读3.1 HTML结构3.2 霓虹文字的CSS样式3.2.1 核心样式代码3.2.2 动画效果 3.3 JavaScript 的烟花效果实现3.3.1 烟花上升3.3.2 粒子爆炸 4. 用户交互5. 运行步骤总结 1. 效果预览 打开后输入文本的展示内容 用户点击页面后播放…

金仓数据库之巡查KCP-客户端验证

巡查 查看KES 服务器的时区 show timezone;查看KES 服务器的时间 select now;查看KES 无故障运行时长 select now-sys_postmaster_start_time as uptime;查看数据库占用的磁盘空间 查看数据库占用的磁盘空间 select sys_database_size(current_database)/1024/1024; sele…

二分和离散化

为什么把二分和离散化放一起&#xff1a;因为离散化其实是一种二分整数的过程。 二分 相信大家都接触过二分查找&#xff08;折半查找&#xff09;&#xff0c;这就是二分的思想。 二分通过每次舍弃一半并不存在答案的区间&#xff0c;进而快速锁定要求的答案&#xff08;二…

OpenCV-Python实战(9)——滤波降噪

一、均值滤波器 cv2.blur() img cv2.blur(src*,ksize*,anchor*,borderType*)img&#xff1a;目标图像。 src&#xff1a;原始图像。 ksize&#xff1a;滤波核大小&#xff0c;&#xff08;width&#xff0c;height&#xff09;。 anchor&#xff1a;滤波核锚点&#xff0c…

Java MySQL 连接

Java MySQL 连接 本章节我们为大家介绍 Java 如何使用 使用 JDBC 连接 MySQL 数据库。 Java 连接 MySQL 需要驱动包&#xff0c;最新版下载地址为&#xff1a;http://dev.mysql.com/downloads/connector/j/&#xff0c;解压后得到 jar 库文件&#xff0c;然后在对应的项目中导…

【二叉树遍历 Java版】二叉树的前中后序遍历and层次遍历

二叉树的前中后序遍历and层次遍历 深度优先遍历题目链接递归前序遍历中序遍历后序遍历 迭代前序遍历后序遍历中序遍历 统一迭代前序遍历后序遍历中序遍历 广度优先遍历102. 二叉树的层序遍历107. 二叉树的层序遍历 II637. 二叉树的层平均值199. 二叉树的右视图 深度优先遍历 深…

ShaderJoy ——一种可交互的翻页效果【GLSL】

效果视频 Shader 特效——可与鼠标交互的翻页效果 效果图 完整代码 #define pi 3.14159265359 #define radius .1#iChannel0 "file://./images/Woolly_3.png" #iChannel1 "file://./images/Woolly_4.png"void mainImage( out vec4 fragColor, in vec2 fra…

贝叶斯神经网络(Bayesian Neural Network)

最近在研究贝叶斯神经网络,一些概念一直搞不清楚,这里整理一下相关内容,方便以后查阅。 贝叶斯神经网络(Bayesian Neural Network) 贝叶斯神经网络(Bayesian Neural Network)1. BNN 的核心思想2. BNN 的优化目标3. BNN 的结构与特点4. BNN 的训练过程5. BNN 的优缺点6. …