文章目录
- 简介
- Github
- MyFlash 限制
- MySQL 准备
- 开启 binlog
- mysqlbinlog
- 安装 MyFlash
- flashback 选项
- 生成回滚文件
- 执行回滚操作
- 操作示例
简介
MySQL中的Binlog(Binary Log)数据闪回,也称为Point-in-Time Recovery (PITR),是一种强大的数据库恢复技术。它基于MySQL的二进制日志系统,允许用户在发生错误或需要回滚事务后,将数据库状态恢复到指定的过去某个时间点,而不仅仅是最近的一次提交。
-
Binlog记录:当MySQL执行写操作时,会将这些操作记录在二进制日志中,包括SQL语句、更新前后的数据等。这些记录按时间顺序存储,形成一个完整的历史记录链。
-
闪回操作:如果需要恢复到某个时间点,管理员可以定位到那个时间点的日志位置,然后使用相应的工具(如mysqlbinlog或商业备份工具)读取和应用那些日志条目,使数据库回到那个时间点的状态。
-
特殊类型:MySQL 8.0及更高版本引入了ROW格式的二进制日志,使得闪回操作更加高效,可以直接根据行级别的修改来恢复数据,而不仅仅是整个事务。
Github
- https://github.com/Meituan-Dianping/MyFlash
MyFlash 限制
- 仅支持 5.6 与 5.7 版本
- binlog 格式必须为 row,且 binlog_row_image=full
- 只能回滚DML(增、删、改)
MySQL 准备
注: 本章 MySQL 是采用 Docker 部署,容器内是 不带mysqlbinlog 的,可以从已安装 MySQL 的Linux服务器上拷贝 mysqlbinlog 文件。
开启 binlog
[mysqld]
# binlog功能
log_bin=/var/lib/mysql/mysql-bin
# binlog 文件格式
binlog_format=ROW
# 表无论有没有主键约束或者唯一约束binlog都会记录所有前后镜像
binlog_row_image=FULL
# binlog 文件保留时间7天(默认0天)
expire_logs_days=7
# binlog 单个文件的最大值大小(默认1G)
max_binlog_size=512m
# 开启 binlog 后需要创建 function 或 procedure 时要开启
log_bin_trust_function_creators=1
# 服务id,以区分主库和备库
server-id=1
-- 显示是否开启 binlog
show variables like 'log_bin%';
-- 显示 binlog 文件格式
show variables like 'binlog_format%';
-- 显示 binlog 文件保留时间
show variables like 'expire_logs_days%';
-- 显示 binlog 单个文件的最大值大小
show variables like 'max_binlog_size%';
-- 显示 binlog 事件
show binlog events;
-- 显示全部 binlog 文件列表
show binary logs;
show master logs;
-- 显示最新 binlog 文件编号以及最后一个操作事件结束点(Position)值
show master status;
-- 结束当前 binlog 文件并生成新的 binlog 文件
flush logs;
-- 重置 binlog 文件(清空全部 biglog 文件)
reset master;
注: binlog 默认存放在 /var/lib/mysql/ 数据库文件目录。
mysqlbinlog
- 查看 Linux 环境下 mysqlbinlog 目录
# /usr/bin/mysqlbinlog
whereis mysqlbinlog
- 将 mysqlbinlog 文件复制到容器内的 /usr/bin 目录
docker cp mysqlbinlog mysql:/usr/bin
# 进入容器内
docker exec -it mysql /bin/bash
# 在容器内为 mysqlbinlog 添加权限
chmod +x /usr/bin/mysqlbinlog
- 使用 mysqlbinlog 生成 sql 文件
# 进入容器内执行
mysqlbinlog --no-defaults \
--base64-output=DECODE-ROWS \
-v /var/lib/mysql/mysql-bin.000001 >/tmp/binlog_000001.sql
# 进入容器内执行
mysqlbinlog --no-defaults \
--base64-output=DECODE-ROWS \
--database=db_name \
--start-datetime='2024-06-20 00:00:00' \
--stop-datetime='2024-06-20 17:00:00' \
-v /var/lib/mysql/mysql-bin.000001 >/tmp/binlog_000001.sql
安装 MyFlash
注: 文章 MyFlash 是在 Linux 宿主机上安装。
- 安装依赖
# 安装 git gcc glib-2.0
yum install -y git gcc glib2 libgnomeui-devel
# 验证是否安装成功
pkg-config --modversion glib-2.0
- 安装MyFlash
# 下载源码
git clone https://github.com/Meituan-Dianping/MyFlash.git
# 或者国内镜像
git clone https://gitee.com/wufengsheng/MyFlash.git
cd MyFlash
# 动态编译链接安装
gcc -w `pkg-config --cflags --libs glib-2.0` source/binlogParseGlib.c -o binary/flashback
- 配置环境变量
vim /etc/profile
# 在文件末尾添加
alias flashback=~/MyFlash/binary/flashback
source /etc/profile
- 验证是否安装成功
cd ~/MyFlash/binary
./flashback --help
flashback 选项
选项 | 说明 |
---|---|
–databaseNames | databaseName to apply. if multiple, seperate by comma(,) |
–tableNames | tableName to apply. if multiple, seperate by comma(,) |
–tableNames-file | tableName to apply. if multiple, seperate by comma(,) |
–start-position | start position |
–stop-position | stop position |
–start-datetime | start time (format %Y-%m-%d %H:%M:%S) |
–stop-datetime | stop time (format %Y-%m-%d %H:%M:%S) |
–sqlTypes | sql type to filter . support INSERT, UPDATE ,DELETE. if multiple, seperate by comma(,) |
–maxSplitSize | max file size after split, the uint is M |
–binlogFileNames | binlog files to process. if multiple, seperate by comma(,) |
–outBinlogFileNameBase | output binlog file name base |
–logLevel | log level, available option is debug,warning,error |
–include-gtids | gtids to process. if multiple, seperate by comma(,) |
–include-gtids-file | gtids to process. if multiple, seperate by comma(,) |
–exclude-gtids | gtids to skip. if multiple, seperate by comma(,) |
–exclude-gtids-file | gtids to skip. if multiple, seperate by comma(,) |
生成回滚文件
# 进入MyFlash的bin目录
cd ~/MyFlash/binary
# 生成回滚文件,执行后生成 binlog_output_base.flashback 文件
./flashback --sqlTypes='INSERT' \
--databaseNames=db_name \
--tableNames=table_name \
--start-datetime='2024-06-20 18:23:00' \
--binlogFileNames=/var/lib/mysql/mysql-bin.000001 \
--outBinlogFileNameBase=/var/lib/mysql/binlog_output_base
执行回滚操作
# 在binlog_output_base.flashback所在目录下执行以下命令
mysqlbinlog --no-defaults binlog_output_base.flashback | mysql -h 127.0.0.1 -uroot -p
# 或
mysqlbinlog --no-defaults binlog_output_base.flashback | mysql -uroot -p
# 输入数据库密码
操作示例
注: 容器内 /var/lib/mysql/ 映射到宿主机目录 /u01/mysql/data/
注: 例子中我们在时间 2024-06-21 09:39:00时,操作 DELETE 删除 lkmdbs 库中的 app_version 表中的数据,现在想恢复被删除的数据。
# 生成回滚文件
./flashback --sqlTypes='DELETE' \
--databaseNames=lkmdbs \
--tableNames=app_version \
--start-datetime='2024-06-21 09:38:00' \
--binlogFileNames=/u01/mysql/data/mysql-bin.000001 \
--outBinlogFileNameBase=/u01/mysql/data/binlog_000001
# 进入 mysql 容器
docker exec -it mysql /bin/bash
# 执行回滚操作,需要输入数据库 root 密码
mysqlbinlog --no-defaults binlog_000001.flashback | mysql -uroot -p
- 回滚操作
注: 输入数据库 root 密码回车,没有报错说明回滚成功;数据库 lkmdbs 中的 app_version 表中被删除数据已回滚至2024-06-21 09:38:00时间点。
- 如果想回滚整个库到某个时间点,可以参考以下脚本。
注意: 要根据数据库当前最新 binlog 文件编号恢复
# 生成回滚文件
./flashback --sqlTypes='INSERT,UPDATE,DELETE' \
--databaseNames=lkmdbs \
--start-datetime='2024-06-21 09:38:00' \
--binlogFileNames=/u01/mysql/data/mysql-bin.000001 \
--outBinlogFileNameBase=/u01/mysql/data/binlog_000001
Docker 部署 MySQL 数据库