LNMP 环境下使用 Zstd 压缩优化网站备份脚本

网站的备份一直都是网站运营、服务器运维中很重要的一环,明月无论是在自己的服务器还是客户的代运维服务器上都是非常重视网站备份的,尤其热衷于优化网站备份这块儿,毕竟明月自己的服务器配置一直都是最低的 1H1G 呀,就这配置常年都是 4-5 个网站放着呢!明月的博客毕竟有十来年了,单单网站文件就占用了至少 5G 了,这还不包括数据库的占用。

LNMP 环境下使用 Zstd 压缩优化网站备份脚本

随着网站文件的日积月累,LNMP 环境下网站备份脚本的运行效率是越来越吃力了,以前都是每天一次备份的,现在因为备份期间服务器负载飙升相当恐怖都改成一周一次备份了:

LNMP 环境下使用 Zstd 压缩优化网站备份脚本

有图有真相,备份期间明月服务器的负载(load avvrage)情况实时截图

这个负载值已经严重影响备份期间网站的正常访问了,甚至会出现 503、502 等错误,反正每次备份期间,明月是不敢去访问网站的,并且这个过程持续的时间一般都在 2-3 个小时左右,很明显这不科学呀。

经过对 LNMP 环境下网站备份脚本 backup.sh 代码的分析,发现造成备份期间服务器负载持续飙升的罪魁祸首是备份时的压缩算法 gzip,上面的截图里就可以看到备份期间 gzip 的进程占据了很多,明月简单统计了一下能有 20-30 多个 gzip 进程,压缩是需要大量的 CPU 运算和内存的,明月服务器的 1H1G 很明显是承受不了这么“蹂躏”的,是时候给网站备份脚本更换压缩算法了。这时候看到了一则旧闻:

LNMP 环境下使用 Zstd 压缩优化网站备份脚本

这个 Zstd 压缩算法真的是太牛逼了,Linux 内核组件都在用了,那要是拿来用在网站备份上也不知道是个啥效果,于是果断施展搜索大法一番了解后得出结论完全没有问题的,于是就诞生了【Zstd(Zstandard)助力网站备份利器】的运维学习笔记,又因为实操发现有了【更新 tar 命令到最新版本】笔记,先在自己服务器上调试一番后终于成功实现了用 Zstd 压缩算法网站备份,马上给一个客户的服务器也用上了,效果非常的好,备份结果对比一下也是非常的满意:

LNMP 环境下使用 Zstd 压缩优化网站备份脚本

上图左边是 gzip 压缩算法备份的网站文件和数据库导出的 sql 大小,右边是采用 Zstd 压缩算法后备份产生的文件大小

虽然对比网站文件在大小上没有很明显的差异,这主要是因为服务器硬件配置和压缩参数的问题,可以进行调优来改善的,明月最喜欢的是采用 Zstd 压缩算法后备份期间的服务器负载表现都快亮瞎眼了:

LNMP 环境下使用 Zstd 压缩优化网站备份脚本

这是明月自己 1H1G 服务器备份期间的负载实时截图

LNMP 环境下使用 Zstd 压缩优化网站备份脚本

这是客户服务器(1H2G,老薛海外云主机)备份期间的负载实时截图

这负载直接下降了近十倍呀,太神奇了吧!哈哈!并且明月持续观察了很长一段时间,都是这个状态,波动也都是维持在个位数而已,备份期间完全不影响网站的访问、登录等等,并且整体的备份耗时至少缩减了一倍还多,整个备份期间无论是前端还是后端都是毫无感受,看来明月这 1H1G 配置的服务器还能再挺几年是没有问题的了!完美!!!

又在多个不同客户、不同地域、不同硬件配置、不同服务器生产环境上测试后,实测证明 Zstd 压缩算法的强大真不是盖的的,Linux 内核都采用了可见一斑!好了,废话不多说了,下面给大家分享一下明月的这个 Zstd 压缩算法的网站备份脚本代码:

要在服务器上用 Zstd 压缩算法有两个必备条件:

  • 1、升级 tar(打包命令)到最新版,至少 1.30 以上。可参考【更新 tar 命令到最新版本】一文;
  • 2、安装 Zstd,当然最新版最好。可参考【Zstd(Zstandard)助力网站备份利器】一文;

上述两个条件是必备的,否则下面的脚本是没法执行的哦!

这里我们以军哥 LNMP 一键安装包里的网站备份脚本 backup.sh 为例,里面原本的压缩备份打包文件的代码如下:

TodayWWWBackup=www-*-$(date +"%Y%m%d").tar.gz
TodayDBBackup=db-*-$(date +"%Y%m%d").sql
OldWWWBackup=www-*-$(date -d -3day +"%Y%m%d").tar.gz
OldDBBackup=db-*-$(date -d -3day +"%Y%m%d").sql

Backup_Dir()
{
    Backup_Path=$1
    Dir_Name=`echo ${Backup_Path##*/}`
    Pre_Dir=`echo ${Backup_Path}|sed 's/'${Dir_Name}'//g'`
    tar zcf ${Backup_Home}www-${Dir_Name}-$(date +"%Y%m%d").tar.gz -C ${Pre_Dir} ${Dir_Name}
}
Backup_Sql()
{
    ${MySQL_Dump} -u$MYSQL_UserName -p$MYSQL_PassWord $1 > ${Backup_Home}db-$1-$(date +"%Y%m%d").sql
}

只需要对照修改成下面代码即可:

TodayWWWBackup=www-*-$(date +"%Y%m%d").tar.zst
TodayDBBackup=db-*-$(date +"%Y%m%d").sql.zst
OldWWWBackup=www-*-$(date -d -1day +"%Y%m%d").tar.zst
OldDBBackup=db-*-$(date -d -1day +"%Y%m%d").sql.zst

Backup_Dir()
{
    Backup_Path=$1
    Dir_Name=`echo ${Backup_Path##*/}`
    Pre_Dir=`echo ${Backup_Path}|sed 's/'${Dir_Name}'//g'`
    tar '-I zstd -19 -T0' -cf ${Backup_Home}www-${Dir_Name}-$(date +"%Y%m%d").tar.zst -C ${Pre_Dir} ${Dir_Name}
}
Backup_Sql()
{
    ${MySQL_Dump} -u$MYSQL_UserName -p$MYSQL_PassWord $1 | zstd -19 -T0 > ${Backup_Home}db-$1-$(date +"%Y%m%d").sql.zst
}

完成后,保存退出即可,想测试了也可以直接备份一下实测对比一下结果,其中上述代码里 zstd 命令后面的参数可以根据自己的服务器硬件配置进行调整的会有意想不到的效果的哦!

参数:-19

指的是压缩等级为 19,这是目前默认最高的,效果取决于你的内存了,内存越多效果越好。

参数: -T0

指的是压缩的时候使用所有 CPU,会影响压缩比的哦,比如你是 4H 的 CPU 就是 -T4,其他配置一次类推即可。
 

LNMP 环境下使用 Zstd 压缩优化网站备份脚本

上图就是一个 8H 服务器备份期间负载截图,结果是 4G 的网站文件压缩到了 2.5G,很牛逼的压缩比了!

目前,明月所有代运维的服务器都已经采用 Zstd 压缩算法网站备份了,毕竟效果那是真的没的说,看来明月很有必要给军哥 LNMP 一键安装包也建议一下对 Zstd 的支持了,毕竟独乐乐不如众乐乐呀!先分享给有需要的站长朋友再说了!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/675569.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

(函数)空格填充(C语言)

一、运行结果&#xff1b; 二、源代码&#xff1b; # define _CRT_SECURE_NO_WARNINGS # include <stdio.h>//声明空格填充函数&#xff1b; void space(char a[100]);int main() {//初始化变量值&#xff1b;char a[100] { 0 };//获取用户输入的数据&#xff1b;print…

人工智能学习笔记(1):了解sklearn

sklearn 简介 Sklearn是一个基于Python语言的开源机器学习库。全称Scikit-Learn&#xff0c;是建立在诸如NumPy、SciPy和matplotlib等其他Python库之上&#xff0c;为用户提供了一系列高质量的机器学习算法&#xff0c;其典型特点有&#xff1a; 简单有效的工具进行预测数据分…

Kafka生产者消息异步发送并返回发送信息api编写教程

1.引入依赖&#xff08;pox.xml文件&#xff09; <dependencies> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>3.6.2</version> </dependency> </depende…

泰中完成潜艇采购谈判:有三个亮点值得关注

泰中完成潜艇采购谈判&#xff1a;有三个亮点值得关注 --如何写好产品采购制造类合同&#xff08;或协议&#xff09;才能有效维护你的利益 据新华网消息&#xff1a;泰国和中国已经完成关于泰国皇家海军购买中国制造的S26T元级潜艇的谈判。这份交易正在等待内阁的最终批准。…

WALT算法简介

WALT(Windows-Assist Load Tracing)算法是由Qcom开发&#xff0c; 通过把时间划分为窗口&#xff0c;对 task运行时间和CPU负载进行跟踪计算的方法。为任务调度、迁移、负载均衡及CPU调频 提供输入。 WALT相对PELT算法&#xff0c;更能及时反映负载变化&#xff0c; 更适用于…

黄金期货与现货黄金有什么区别?

如今&#xff0c;黄金成为了众多投资者的热门选择。在黄金投资市场中&#xff0c;有多种形式可供选择&#xff0c;比如纸黄金、实物黄金、黄金期货以及现货黄金等。其中&#xff0c;纸黄金和实物黄金虽然具有其特点&#xff0c;但所需资金量较大且收益表现相对不明显。相对而言…

哈希重要思想续——布隆过滤器

布隆过滤器 一 概念1.1布隆过滤器的提出2.概念 二 模拟实现2.1 三个仿函数setTest 全代码三 实际应用 一 概念 1.1布隆过滤器的提出 我们在使用新闻客户端看新闻时&#xff0c;它会给我们不停地推荐新的内容&#xff0c;它每次推荐时要去重&#xff0c;去掉那些已经看过的内容…

Java面试八股之守护线程和普通线程的区别

守护线程和普通线程的区别 生命周期差异&#xff1a; 普通线程&#xff08;也称为用户线程&#xff09;&#xff1a;这类线程的生命周期与程序的生命周期独立。它们会一直运行直到完成自己的任务或主动结束&#xff0c;如果一个程序中只剩下普通线程在运行&#xff0c;即使主…

JavaScript、Kotlin、Flutter可以开发鸿蒙APP吗?

自从去年华为宣布推出「鸿蒙Next」版本开始&#xff0c;标志着其操作系统的全面革新。鸿蒙Next将摒弃所有基于AOSP的代码&#xff0c;与Android系统彻底分离&#xff0c;实现完全自主的研发路径。通过精简约40%的冗余代码&#xff0c;鸿蒙Next致力于构建一个更高效、更流畅的系…

混合动力电动汽车介绍(二)

接续前一章内容&#xff0c;本篇文章介绍混合动力汽车串联、并联和混联的系统组成和工作原理。 一、串联混合动力电动汽车的系统组成和工作原理 上图为串联混合动力电动汽车的结构简图。汽车由电动机-发电机驱动行驶&#xff0c;电机控制器的动力来自油箱-发动机-发电机-发电机…

Python画图(多图展示在一个平面)

天行健&#xff0c;君子以自强不息&#xff1b;地势坤&#xff0c;君子以厚德载物。 每个人都有惰性&#xff0c;但不断学习是好好生活的根本&#xff0c;共勉&#xff01; 文章均为学习整理笔记&#xff0c;分享记录为主&#xff0c;如有错误请指正&#xff0c;共同学习进步。…

上位机图像处理和嵌入式模块部署(f407 mcu vs f103)

【 声明&#xff1a;版权所有&#xff0c;欢迎转载&#xff0c;请勿用于商业用途。 联系信箱&#xff1a;feixiaoxing 163.com】 对于一部分嵌入式场景来说&#xff0c;f103其实已经足够了&#xff0c;特别是要求不高的低速场合。如果开发的代码比较多&#xff0c;还可以选用更…

Java面试八股之线程池中submit和execute方法的区别

线程池中submit和execute方法的区别 接口和返回值类型: execute()方法属于Executor接口&#xff0c;它接收一个实现了Runnable接口的任务&#xff0c;并不返回任何结果。它的主要目的是异步执行任务&#xff0c;不关心任务的执行结果。 submit()方法则是ExecutorService接口…

Vue渲染函数与JSX指南

title: Vue渲染函数与JSX指南 date: 2024/6/3 下午6:43:53 updated: 2024/6/3 下午6:43:53 categories: 前端开发 tags:Vue渲染JSX基础性能优化组件对比React JSX大项目测试策略 第1章&#xff1a;Vue.js入门 Vue.js的历史和背景 Vue.js是一个用于构建用户界面的JavaScript框…

模拟堆-java

模拟堆也是对堆的一次深入理解和一些其它操作&#xff0c;可以了解一下。 文章目录 前言 一、模拟堆 二、算法思路 1.结点上移 2.结点下移 3.插入一个数 4.输出当前集合的最小值 5.删除当前集合的最小值&#xff08;数据保证此时的最小值唯一&#xff09; 6.删除第k个插入的数 …

初识STM32单片机-ADC和DMA

初识STM32单片机-ADC和DMA 一、ADC(模拟数字转换器)简介二、ADC基本结构三、DMA(直接存储器读取)简介四、DMA框图和基本结构五、DMA应用实例5.1 数据转运DMA5.2 ADC扫描DMA 六、程序编码6.1 ADC单通道-电位器6.2 ADC多通道-电位器和光敏\热敏\反射红外传感器6.3 DMA数据转运6.4…

代码随想录算法训练Day28|LeetCode93-复原IP地址、LeetCode78-子集问题、LeetCode90-子集2

复原IP地址 题目描述 力扣93-复原IP地址 有效 IP 地址 正好由四个整数&#xff08;每个整数位于 0 到 255 之间组成&#xff0c;且不能含有前导 0&#xff09;&#xff0c;整数之间用 . 分隔。 例如&#xff1a;"0.1.2.201" 和 "192.168.1.1" 是 有效 …

贝锐花生壳DDNS:远程访问数据库,仅需简单3步

在当今数字化时代&#xff0c;数据的远程访问和管理变得至关重要。无论是企业还是个人开发者&#xff0c;都需要一种简单、安全的方式来远程访问和管理本地部署的数据库&#xff0c;如MySQL、PostgreSQL、MongoDB等。贝锐花生壳DDNS服务提供了一个完美的解决方案&#xff0c;通…

【YOLOv10改进[Backbone]】图像修复网络AirNet助力YOLOv10目标检测效果 + 含全部代码和详细修改方式 + 手撕结构图 + 全网首发

本文带来的是图像复原网络AirNet&#xff0c;它由基于对比度的退化编码器( CBDE )和退化引导的恢复网络( DGRN )两个模块组成。可以在一个网络中恢复各种退化图像。AirNet不受损坏类型和级别的先验限制&#xff0c;仅使用观察到的损坏图像进行推理。本文中将使用图像修复网络Ai…

SCARA机器人中旋转花键的维护和保养方法!

作为精密传动元件的一种&#xff0c;旋转花键在工作过程中承受了较大的负荷。在自动化设备上运用广泛&#xff0c;如&#xff1a;水平多关节机械手臂&#xff08;SCARA&#xff09;、产业用机器人、自动装载机、雷射加工机、搬运装置、机械加工中心的ATC装置等&#xff0c;最适…