借助 mydumper 实现定期 MySQL 全量备份、恢复方案

一、Mydumper 工具介绍

mydumper 是一款社区开源的逻辑备份工具，由 C 语言编写，与 MySQL 官方提供的 mysqldump 相比，它具有更高的性能和更多的功能，例如：

  • 支持多线程导出数据，速度更快；

  • 支持一致性备份；

  • 支持将导出文件压缩，节约空间；

  • 支持多线程恢复；

  • 支持以守护进程模式工作，定时快照和连续二进制日志；

  • 支持按照指定大小将备份文件切割；

GitHub 地址：https://github.com/maxbube/mydumper

官网地址：https://launchpad.net/mydumper

与其他常见备份工具对比

备份工具安装难度备份类型备份速度备份即时点压缩备份远程备份
mysqldump自带逻辑慢不支持不支持支持
xtrabackup一般物理较快支持不支持不支持
mydumper简单逻辑快支持支持支持

Mydumper 安装

下载安装包：

wget https://github.com/maxbube/mydumper/releases/download/v0.10.7-2/mydumper-0.10.7-2.el7.x86_64.rpm

安装：

rpm -ivh mydumper-0.10.7-2.el7.x86_64.rpm

查看安装版本：

mydumper -V

在这里插入图片描述

核心命令介绍

在 mydumper 中主要使用到两个命令，mydumper 和 myloader ，其中 mydumper 主要用来做数据的备份，myloader 用来进行数据的恢复。

其中 mydumper 所支持的参数如下：

参数缩写解释
–user-u用户名
–pasword-p密码
–host-h地址
–port-P端口
–threads-t备份时的线程数，默认 4
–database-B备份的数据库名称，不指定则备份所有库
–tables-list-T备份的表，名字用逗号隔开，不指定则备份所有表
–outputdir-o备份输出目录
–statement-size-s指定备份文件中每个 SQL 语句的最大大小，默认1000000，与–rows冲突
–rows-r将表按行分割，指定了会关闭 --chunk-filesize
–chunk-filesize-F按大小分割时，指定分割大小，单位是 M
–regex-x使用正则表达式匹配
–compress-c压缩输出文件
–ignore-engines-i忽略的存储引擎
–no-schemas-m不备份表结构
–no-data-d不备份表数据
–triggers-G备份触发器
–events-E备份事件
–routines-R备份存储过程和函数
–no-views-W不备份视图
–no-locks-k不使用临时共享只读锁，使用这个选项会造成数据不一致
–daemon-D启用守护进程模式，守护进程模式以某个间隔不间断对数据库进行备份
–where只导出选择的数据

myloader 所支持的参数如下：

参数名缩写含义
–user-u用户名
–pasword-p密码
–host-h地址
–port-P端口
–threads-t恢复时的线程数，默认4
–directory-d要恢复的备份目录
–queries-per-transaction-q每次事务执行的查询数量，默认是1000
–overwrite-tables-o如果要恢复的表存在，则先drop掉该表
–database-B需要还原到哪个数据库（目标数据库）
–source-db-s选择被还原的数据库（源数据库）
–enable-binlog-e在恢复时开启binlog

下面以一个案例来介绍和使用 Mydumper：

首先创建测试库和测试表：

create database testdb;
use testdb;

CREATE TABLE `user` (
  `id` int NOT NULL AUTO_INCREMENT,
  `name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  `age` int DEFAULT NULL,
  `email` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  `username` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  `password` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  `status` int DEFAULT NULL,
  `delete_flag` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci ROW_FORMAT=DYNAMIC;

CREATE TABLE `role` (
  `id` int NOT NULL AUTO_INCREMENT,
  `role_name` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  `desc` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  `delete_flag` varchar(255) CHARACTER SET utf8mb4 COLLATE utf8mb4_0900_ai_ci DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci ROW_FORMAT=DYNAMIC;

CREATE TABLE `user_role_mapping` (
  `id` int NOT NULL AUTO_INCREMENT,
  `user_id` int DEFAULT NULL,
  `role_id` int DEFAULT NULL,
  PRIMARY KEY (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci ROW_FORMAT=DYNAMIC;

写入测试数据：

INSERT INTO `testdb`.`user` (`id`, `name`, `age`, `email`, `username`, `password`, `status`, `delete_flag`) VALUES (1, '张三', 15, 'zhangsan@test.com', 'zhangsan', '123', 1, '0');
INSERT INTO `testdb`.`user` (`id`, `name`, `age`, `email`, `username`, `password`, `status`, `delete_flag`) VALUES (2, '李四', 16, 'lisi@test.com', 'lisi', '123', 1, '0');
INSERT INTO `testdb`.`user` (`id`, `name`, `age`, `email`, `username`, `password`, `status`, `delete_flag`) VALUES (3, '王五', 15, 'wangwu@test.com', 'wangwu', '123', 1, '0');
INSERT INTO `testdb`.`user` (`id`, `name`, `age`, `email`, `username`, `password`, `status`, `delete_flag`) VALUES (4, '李六', 18, 'liliu@test.com', 'liliu', '123', 1, '0');
INSERT INTO `testdb`.`user` (`id`, `name`, `age`, `email`, `username`, `password`, `status`, `delete_flag`) VALUES (5, '小红', 15, 'xiaohong@test.com', 'xiaohong', '123', 1, '0');
INSERT INTO `testdb`.`user` (`id`, `name`, `age`, `email`, `username`, `password`, `status`, `delete_flag`) VALUES (6, '小明', 19, 'xiaoming@test.com', 'xiaoming', '123', 1, '0');
INSERT INTO `testdb`.`user` (`id`, `name`, `age`, `email`, `username`, `password`, `status`, `delete_flag`) VALUES (7, '小张', 15, 'xiaozhang@test.com', 'xiaozhang', '123', 1, '0');

INSERT INTO `testdb`.`role` (`id`, `role_name`, `desc`, `delete_flag`) VALUES (1, 'admin', '管理员', '0');
INSERT INTO `testdb`.`role` (`id`, `role_name`, `desc`, `delete_flag`) VALUES (2, 'root', '超级管理员', '0');
INSERT INTO `testdb`.`role` (`id`, `role_name`, `desc`, `delete_flag`) VALUES (3, 'common', '普通人', '0');
INSERT INTO `testdb`.`role` (`id`, `role_name`, `desc`, `delete_flag`) VALUES (4, 'leader', '组长', '0');

INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (1, 1, 1);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (2, 2, 1);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (3, 3, 3);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (4, 4, 3);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (5, 5, 4);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (6, 6, 4);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (7, 7, 3);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (8, 1, 2);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (9, 1, 4);
INSERT INTO `testdb`.`user_role_mapping` (`id`, `user_id`, `role_id`) VALUES (10, 2, 4);

二、全量备份和恢复实验

创建备份目录：

mkdir -p /data/backup/bak1

全量备份：

mydumper -h 192.168.40.20 -u root -p root123 -G -R -E -r 100000 -c -o /data/backup/bak1

在这里插入图片描述

从结果中可以看出，里面也包括了 mysql、sys 等系统库。

下卖尝试删除 testdb 数据库：

drop database testdb;

show databases;

在这里插入图片描述

数据恢复：

myloader -h 192.168.40.20 -u root -p root123 -o -d /data/backup/bak1

在这里插入图片描述
查看数据库：

在这里插入图片描述
数据已经成功恢复。

三、单独库表备份和恢复实验

创建备份目录：

mkdir -p /data/backup/bak2

备份 user和role 表

mydumper -h 192.168.40.20 -u root -p root123 -r 100000 -B testdb -T user,role -c -o /data/backup/bak2

在这里插入图片描述

删除 user 表：

在这里插入图片描述

恢复表数据：

myloader -h 192.168.40.20 -u root -p root123 -o -s testdb  -d /data/backup/bak2

在这里插入图片描述

查看数据：

在这里插入图片描述

注意此时 role 表也会被覆盖为原先备份的状态，如果需要单独恢复可以使用自带的 source 命令。

四、定期全量备份数据

定期备份

创建 backup.sh 文件，内容如下：

#!/bin/bash
# MySQL数据库信息
USER='root'
PASSWORD='root123'
HOST='192.168.40.20'
# 备份文件路径和名称
BACKUP_DIR='/data/backup'
BACKUP_FILE="$BACKUP_DIR/backup_$(date +%Y%m%d_%H%M%S)"
# 使用 mydumper 备份数据库
mydumper -h $HOST -u $USER -p $PASSWORD -G -R -E -r 100000 -c -x '^(?!(mysql|sys))' -o $BACKUP_FILE
echo $BACKUP_FILE

授予执行权限：

chmod +x backup.sh

添加定时任务：

crontab -e

最后加入下面内容：

*/2 * * * * /data/backup/backup.sh >> /data/backup/backup.log 2>&

注意：这里为了展示效果，每2分钟执行一次，你用的时候需要修改，例如每天凌晨2点执行：0 2 * * *

等待一会后可看到备份的文件：

在这里插入图片描述

定期删除

备份的文件一直保存下去对磁盘的占用也有一定成本，所以一些旧的备份就可以删除掉了，同样创建 remove.sh 脚本，写入如下内容：

#!/bin/bash
# 备份文件路径
BACKUP_DIR='/data/backup/'
# 查找并删除旧的备份文件
find $BACKUP_DIR -type d -name "backup_*" -mmin +5 -exec rm -rf {} \;
echo "清理备份文件"

注意：这里为了展示效果，每次删除5分钟之前创建的目录，你用的时候需要修改。

授予执行权限：

chmod +x remove.sh

下面同样加入定时任务中执行：

crontab -e

最后加入下面内容：

*/5 * * * * /data/backup/remove.sh >> /data/backup/remove.log 2>&

每 5 分钟触发一次。

五、其他示例：

备份时使用正则排除系统库：

mydumper -h 192.168.40.20 -u root -p root123-G -R -E  -r 100000 -x '^(?!(mysql|sys))' -o /data/backup/bak3

仅备份表结构

mydumper -h 192.168.40.20 -u root -p root123-d  -r 100000 -B  testdb -o /data/backup/bak4

仅备份表数据

mydumper -h 192.168.40.20 -u root -p root123 -m  -r 100000 -B testdb -o /data/backup/bak5

压缩备份表

mydumper -h 192.168.40.20 -u root -p root123-r 100000 -B testdb -T user -c -o /data/backup/bak6

将某个数据备份还原到另一个数据库中，目标不存在会新建：

myloader -h 192.168.40.20 -u root -p root123-B testdb2 -s testdb -o -d /data/backup/bak3

如果是主从复制，恢复时需要开启binlog：

myloader -h 192.168.40.20 -u root -p root123 -e -o -d /data/backup/bak3

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/457982.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

JVM探究

JVM探究

JVM探究 请你谈谈你对JVM的理解？java -> class -> jvm java 8虚拟机和之前的变化更新OOM 内存溢出。栈溢出 StackOverFlowError > 怎么分析JVM的常用调优参数 ？ 扩大内存内存快照如何抓取，怎么分析Dump文件？知道吗&…
阅读更多...
密码学——MAC

密码学——MAC

消息认证码 在信息发送和接收过程中，若攻击者能够得到信息，进行篡改，就能达到欺骗，诈骗，冒名顶替的作用。为了防止冒名诈骗，一个对策就是使用消息认证码——MAC: Message Authentication Code。 消息认证码，即确定消息真实性的认证程序。发件人将想要发送的信息和从哪个…
阅读更多...
Spring Cloud Gateway如何实现熔断

Spring Cloud Gateway如何实现熔断

Spring Cloud Gateway熔断集成 熔断应用： 金融市场中的熔断机制：在金融交易系统中，熔断机制（Circuit Breaker）是一种市场保护措施，旨在预防市场剧烈波动时可能导致的系统性风险。当某个基准指数&#xff08…
阅读更多...
ArrayList和LinkedList区别

ArrayList和LinkedList区别

ArrayList和LinkedList是两个集合类，用于存储一系列的对象引用(references)。例如我们可以用ArrayList来存储一系列的String或者Integer。 1 问题 那么ArrayList和LinkedList在性能上有什么差别呢？什么时候应该用ArrayList什么时候又该用LinkedList呢&am…
阅读更多...
Github 2024-03-15 Java开源项目日报 Top10

Github 2024-03-15 Java开源项目日报 Top10

根据Github Trendings的统计，今日(2024-03-15统计)共有10个项目上榜。根据开发语言中项目的数量，汇总情况如下： 开发语言项目数量Java项目9非开发语言项目1TypeScript项目1《Hello 算法》：动画图解、一键运行的数据结构与算法教程 创建周期：476 天协议类型：OtherStar数量…
阅读更多...
gin框架教程笔记

gin框架教程笔记

参考 官方中文文档：https://gin-gonic.com/zh-cn/docs/introduction/ 但是示例截图少 https://www.kancloud.cn/shuangdeyu/gin_book/949411 https://www.topgoer.com/gin%E6%A1%86%E6%9E%B6/ 这个网站不光有gin框架 适合阅读 吉米老师的 ：https://www…
阅读更多...
Redis基本使用

Redis基本使用

Redis基本使用 1.通用命令2.基本数据类型2.1 String2.2 Hash2.3 List2.4 Set2.5 SortedSet 3. SpringDataRedis3.1 简介3.2 快速代码示例3.3 序列化 1.通用命令 针对所有数据类型的操作可以在Redis官方文档查看。以下是通用的命令。 KEYS：查看符合模板的所有key D…
阅读更多...
气压计LPS25HB开发(1)----轮询获取气压计数据

气压计LPS25HB开发(1)----轮询获取气压计数据

气压计LPS25HB开发----1.轮询获取气压计数据 概述视频教学样品申请源码下载产品特性通信模式速率生成STM32CUBEMX串口配置IIC配置SA0地址设置串口重定向参考程序SA0设置模块地址获取ID复位操作BDU设置设置速率轮询读取数据演示 概述 本文将介绍如何使用 LPS25HB 传感器来读取数…
阅读更多...
QT信号与槽实现方式

QT信号与槽实现方式

1、第一种实现方式 在QT开发工具UI界面先拖入按钮，然后鼠标右键拖入按钮，点击选中槽，在页面选着需要的信号，然后OK，随即将会跳转到类的.cpp文件，（这种UI代码结合的方式，会自动去绑定…
阅读更多...
【剪枝实战】使用VGGNet训练、稀疏训练、剪枝、微调等，剪枝出只有3M的模型

【剪枝实战】使用VGGNet训练、稀疏训练、剪枝、微调等，剪枝出只有3M的模型

摘要 本次剪枝实战是基于下面这篇论文去复现的，主要是实现对BN层的γ/gamma进行剪枝操作，本文用到的代码和数据集都可以在我的资源中免费下载到。 相关论文：Learning Efficient Convolutional Networks through Network Slimming (ICCV 2017…
阅读更多...
【小白学机器学习9】自己纯手动计算验证，EXCEL的一元线性回归的各种参数值

【小白学机器学习9】自己纯手动计算验证，EXCEL的一元线性回归的各种参数值

目录 0 目标 1 构造模型 1.1 构造模型的思路 1.2 具体模型构造的EXCEL公式和过程 2 直接用EXCEL画图，然后生成趋势线的方式进行回归分析 2.1 先选择“观测值Y”的数据，用散点图或者折线图作图 2.2 然后添加趋势线和设置趋势线格式 2.3 生成趋…
阅读更多...
服务器Debian 12.x中安装Jupyer并配置远程访问

服务器Debian 12.x中安装Jupyer并配置远程访问

服务器系统：Debian 12.x；IP地址：10.100.2.138 客户端：Windows 10;IP地址：10.100.2.38 利用ssh登录服务器： 1.安装python3 #apt install python3 2.安装pip #apt install python3-pip … 3.安装virtualen…
阅读更多...
HBase分布式数据库的原理和架构

HBase分布式数据库的原理和架构

一、HBase简介 HBase是是一个高性能、高可靠性、面向列的分布式数据库，它是为了在廉价的硬件集群上存储大规模数据而设计的。HBase利用Hadoop HDFS作为其文件存储系统，且Hbase是基于Zookeeper的。 二、HBase架构 *图片引用 Hbase采用Master/Slave架构…
阅读更多...
PTA-练习1

PTA-练习1

目录 实验2-3-8 计算火车运行时间 实验2-4-4 求简单交错序列前N项和 实验2-4-5 输出华氏-摄氏温度转换表 实验3-4 统计字符[2] 实验3-5 查询水果价格 实验3-11 求一元二次方程的根 实验4-1-1 统计数字字符和空格 实验2-3-8 计算火车运行时间 时钟数有两种情况&#xff1…
阅读更多...
使用BBDown下载bilibili视频的方法

使用BBDown下载bilibili视频的方法

一款命令行式哔哩哔哩下载器. Bilibili Downloader. 下载地址 https://github.com/nilaoda/BBDown 功能 番剧下载(Web|TV|App) 课程下载(Web) 普通内容下载(Web|TV|App) 合集/列表/收藏夹/个人空间解析 多分P自动下载 选择指定分P进行下载 选择指定清晰度进行下载 下载外挂字幕…
阅读更多...
解决驱动开发中＜stdlib.h＞ no such file 的问题

解决驱动开发中＜stdlib.h＞ no such file 的问题

前言 在进行驱动开发时&#xff0c;需要使用malloc等函数&#xff0c;导入C库<stdlib.h>出现bug。 嵌入式驱动学习专栏将详细记录博主学习驱动的详细过程&#xff0c;未来预计四个月将高强度更新本专栏&#xff0c;喜欢的可以关注本博主并订阅本专栏&#xff0c;一起讨论…
阅读更多...
java并发编程之 volatile关键字

java并发编程之 volatile关键字

1、简单介绍一下JMM Java 内存模型&#xff08;Java Memory Model 简称JMM&#xff09;是一种抽象的概念&#xff0c;并不真实存在&#xff0c;指一组规则或规范&#xff0c;通过这组规范定义了程序中各个变量的访问方式。java内存模型(JMM)屏蔽掉各种硬件和操作系统的内存访问…
阅读更多...
OpenvSwitch VXLAN 隧道实验

OpenvSwitch VXLAN 隧道实验

OpenvSwitch VXLAN 隧道实验 最近在了解 openstack 网络&#xff0c;下面基于ubuntu虚拟机安装OpenvSwitch&#xff0c;测试vxlan的基本配置。 节点信息&#xff1a; 主机名IP地址OS网卡node1192.168.95.11Ubuntu 22.04ens33node2192.168.95.12Ubuntu 22.04ens33 网卡信息&…
阅读更多...
XUbuntu22.04之关闭todesk开机自启动(二百二十一)

XUbuntu22.04之关闭todesk开机自启动(二百二十一)

简介&#xff1a; CSDN博客专家&#xff0c;专注Android/Linux系统&#xff0c;分享多mic语音方案、音视频、编解码等技术&#xff0c;与大家一起成长&#xff01; 优质专栏&#xff1a;Audio工程师进阶系列【原创干货持续更新中……】&#x1f680; 优质专栏&#xff1a;多媒…
阅读更多...
Python数据分析-4

Python数据分析-4

1.对于一组电影数据&#xff0c;呈现出rating,runtime的分布情况&#xff1a; #encodingutf-8 import pandas as pd import numpy as np from matplotlib import pyplot as plt file_path "./youtube_video_data/IMDB-Movie-Data.csv" df pd.read_csv(file_path) …
阅读更多...
最新文章

Copyright @ 2022~2023