MySQL数据库日志管理、备份与恢复

目录

一、MySQL 日志管理

 二、数据备份的重要性

 造成数据丢失的原因

三、数据库备份的分类

1 、从物理与逻辑的角度

(1)备份划分

(2) 物理备份方法

2、 从数据库的备份策略角度

 四、常见的备份方法

1、物理冷备

2、专用备份工具mydump或mysqlhotcopy

3、启用二进制日志进行增量备份

4、第三方工具备份

五、MySQL 完全备份

1、优点

2、 缺点

3 、数据库完全备份分类

(1)物理冷备份与恢复

(2) mysqldump备份与恢复

 六、MySQL完全备份与恢复

1、 MySQL 完全备份

(1)物理冷备份与恢复

 2、 mysqldump 备份与恢复

(1)完全备份一个或多个完整的库(包括其中所有的表)

 (2)完全备份MySQL服务器中所有的库

 (3)完全备份指定库中的部分表

(4)查看备份文件

 2、MySQL 完全备份恢复

(1)恢复数据库

(2)恢复数据表

  七、MySQL 增量备份与恢复

1、MySQL 增量备份

(1)开启二进制日志功能

​(2) 可每周对数据库或表进行完全备份

(3) 可每天进行增量备份操作,生成新的二进制日志文件(例如mysql-bin.000002)

 (4)插入新数据,以模拟数据的增加或变更

(5) 再次生成新的二进制日志文件(例如mysql -bin.000003)

(6)查看二进制日志文件的内容

2、 MySQL增量恢复

2.1 一般恢复

(1)模拟丢失更改的数据的恢复步骤

 (2)模拟丢失所有数据的恢复步骤

2.2  断点恢复

 (1)基于位置恢复

(2)基于时间点恢复

总结


一、MySQL 日志管理

MySQL的日志默认保存位置为/usr/local/mysql/data

vim /etc/my.cnf 
[mysqld]
......


systemctl restart mysql

1、错误日志,用来记录当MySQL启动、停止或运行时发生的错误信息,默认已开启

log-error=/usr/local/mysql/data/mysql_error.log     #指定日志的保存位置和文件名

2、通用查询日志,用来记录MySQL的所有连接和语句,默认是关闭的

general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log

3、二进制日志(binlog),用来记录所有更新了数据或者已经潜在更新了数据的语句,记录了数据的更改,可用于数据恢复,默认已开启

log-bin=mysql-bin 
或
log_bin=mysql-bin

4、慢查询日志,用来记录所有执行时间超过long_query_time秒的语句,可以找到哪些查询语句执行时间长,以便于优化,默认是关闭的

slow_query_log=ON
slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log    #指定文件路径和名称
long_query_time=5          #设置执行超过5秒的语句会被记录,缺省时为10秒

mysql -u root -p
show variables like 'general%';    #查看通用查询日志是否开启
show variables like 'log_bin%';     #查看二进制日志是否开启
show variables like '%slow%';    #查看慢查询日功能是否开启
show variables like ' long_query_time';    #查看慢查询时间设置
set global slow_query_log=ON;    #在数据库中设置开启慢查询的方法


xxx%	以slow开头的字段
%xxx	以slow结尾的字段
%xxx% 	只要出现slow字段的都会显示出来
xxx		精准查询

 二、数据备份的重要性

备份的主要目的是灾难恢复
在生产环境中,数据的安全性至关重要
任何数据的丢失都可能产生严重的后果

 造成数据丢失的原因

1、程序错误
2、人为操作错误
3、运算错误
4、磁盘故障
5、灾难(如火灾、地震)和盗窃

三、数据库备份的分类

1 、从物理与逻辑的角度

(1)备份划分

物理备份:对数据库操作系统的物理文件(如数据文件、日志文件等)的备份
逻辑备份:对数据库逻辑组件(如:表等数据库对象)的备份

(2) 物理备份方法

冷备份(脱机备份):是在关闭数据库的时候进行的
热备份(联机备份):数据库处于运行状态,依赖于数据库的日志文件
温备份:数据库锁定表格(不可写入但可读)的状态下进行备份操作

2、 从数据库的备份策略角度

备份可分为

完全备份:每次对数据库进行完整的备份
差异备份:备份自从上次完全备份之后被修改过的文件
增量备份:只有在上次完全备份或者增量备份后被修改的文件才会被备份

 四、常见的备份方法

1、物理冷备

备份时数据库处于关闭状态,直接打包数据库文件
备份速度快,恢复时也是最简单的

2、专用备份工具mydump或mysqlhotcopy

mysqldump常用的逻辑备份工具
mysqlhotcopy仅拥有备份MyISAM和ARCHIVE表

3、启用二进制日志进行增量备份

进行增量备份,需要刷新二进制日志

4、第三方工具备份

免费的MySQL热备份软件Percona XtraBackup
 

五、MySQL 完全备份

是对整个数据库、数据库结构和文件结构的备份
保存的是备份完成时刻的数据库
是差异备份与增量备份的基础

1、优点

备份与恢复操作简单方便

2、 缺点

数据存在大量的重复
占用大量的备份空间
备份与恢复时间长

3 、数据库完全备份分类

(1)物理冷备份与恢复

关闭MySQL数据库
使用tar命令直接打包数据库文件夹
直接替换现有MySQL目录即可

(2) mysqldump备份与恢复

MySQL自带的备份工具,可方便实现对MySQL的备份
可以将指定的库、表导出为SQL脚本
使用命令mysql导入备份的数据

 六、MySQL完全备份与恢复

use xyw;
create table if not exists info1 (
id int(4) not null auto_increment,
name varchar(10) not null,
sex char(10) not null,
hobby varchar(50),
primary key (id));
insert into info1 values(1,'user1','male','running');
insert into info1 values(2,'user2','female','singing');

1、 MySQL 完全备份

InnoDB存储引擎的数据库在磁盘上存储成三个文件:db.opt (表属性文件)、表名. frm(表结构文件)、表名.ibd (表数据文件)。

(1)物理冷备份与恢复

systemctl stop mysqld
yum -y install xz    (一种压缩工具,详单与gzip,bz2)
#压缩备份
tar Jcvf /opt/mysql_all_$(date +%F).tar.xz /usr/local/mysql/data/
#解压恢复
tar Jxvf /opt/mysql_all_2020-02-09.tar.xz -C /usr/local/mysql/data

 2、 mysqldump 备份与恢复

(1)完全备份一个或多个完整的库(包括其中所有的表)

mysqldump -u root -p[密码] --databases 库名1 [库名2] ... > /备份路径/备份文件名.sql     #导出的就是数据库脚本文件
例:
mysqldump -u root -p --databases xyw > /opt/xyw.sql
mysqldump -u root -p --databases mysql xyw > /opt/mysql-xyw.sql
#备份的库文件会包含创建数据库的信息

 (2)完全备份MySQL服务器中所有的库

mysqldump -u root -p[密码] --all-databases > /备份路径/备份文件名.sql
例:
mysqldump -u root -p --all-databases > /opt/all.sql
#备份的库文件会包含创建数据库的信息

 (3)完全备份指定库中的部分表

mysqldump -u root -p[密码]库名[表名1] [表名2] ... > /备份路径/备份文件名.sql
例:
mysqldump -u root -p [-d] xyw abc info > /opt/abc_info.sql
#使用“-d”选项,说明只保存数据库的表结构
#不使用“-d”选项,说明表数据也进行备份
#表的备份文件不包含数据库的创建信息,只包含标的创建信息,回复表时,需在mysql数据库中创建新的数据库或旧的数据库,use 数据库名 进入数据库中,方可进行表的回复

(4)查看备份文件

grep -v "^--" /opt/abc_info.sql | grep -v "^/" | grep -v "^$"

 2、MySQL 完全备份恢复

systemctl start mysqld

(1)恢复数据库

mysql -u root -p -e 'drop database xyw;'
#“-e”选项,用于指定连接MySQL后执行的命令,命令执行完后自动退出
mysql -u root -p -e ' SHOW DATABASES;'

mysql -u root -p < /opt/xyw.sql
mysql -u root -p -e 'SHOW DATABASES;'

(2)恢复数据表

当备份文件中只包含表的备份,而不包含创建的库的语句时,执行导入操作时必须指定库名,且目标库必须存在。

mysqldump -u root -pabc123 xyw abc info > /opt/abc_info.sql

mysql -u root -p -e 'drop table xyw.abc;'
mysql -u root -p -e 'show tables from xyw;'

mysql -u root -p xyw < /opt/abc_info.sql
mysql -u root -p -e 'show tables from xyw;'
#回复表时,先创建数据库,进入数据库后,再进行标的回复才不会报错

  七、MySQL 增量备份与恢复

1、MySQL 增量备份

(1)开启二进制日志功能

vim /etc/my.cnf
[mysqld]
log-bin=mysql-bin
binlog_format = MIXED    #可选,指定二进制日志(binlog)的记录格式为MIXED
server-id = 1

没听到#二进制日志(binlog)有3种不同的记录格式: STATEMENT (基于SQL语句)、ROW(基于行)、MIXED(混合模式),默认格式是STATEMENT

systemctl start mysqld
ls -l /usr/local/mysql/data/mysql-bin.*

 (2) 可每周对数据库或表进行完全备份

mysqldump -u root -p xyw info > /opt/xyw_info_$(date +%F).sql
mysqldump -u root -p --all-databases xyw > /opt/xyw_$(date +%F).sql

(3) 可每天进行增量备份操作,生成新的二进制日志文件(例如mysql-bin.000002)

mysqladmin -u root -p flush-logs

 (4)插入新数据,以模拟数据的增加或变更

use xyw;
insert into info1 values(3,'user3','male','game');
insert into info1 values(4,'user4','female','reading');

(5) 再次生成新的二进制日志文件(例如mysql -bin.000003)

mysqladmin -u root -p flush-logs
#之前的步骤4的数据库操作会保存到mysql-bin.00002文件中,之后数据库数据再发生变化则保存在mysq1--bin.00003文件中

(6)查看二进制日志文件的内容

cp /usr/local/mysql/data/mysql-bin.000002 /opt/
mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002
#--base64-output=decode-rows:使用64位编码机制去解码并按行读取
#-v:显示详细内容

 

2、 MySQL增量恢复

2.1 一般恢复

(1)模拟丢失更改的数据的恢复步骤

use xyw;
delete from info where id=3;
delete from info where id=4;

mysqlbinlog --no-defaults /opt/mysql-bin.000011 | mysql -u root -p

 

 (2)模拟丢失所有数据的恢复步骤

use xyw;
drop table info1;

mysql -u root -p xyw < /opt/xyw_2021-02-10.sql
mysqlbinlog --no-defaults /opt/mysql-bin.000002 | mysql -u root -p

 

2.2  断点恢复

mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002

例:
# at 302

#201122 16:41:16
插入了"user3"的用户数据
# at 623
#201122 16:41:24
插入了"user4"的用户数据

 (1)基于位置恢复

#仅恢复到操作ID为“623"之前的数据,即不恢复“user4"的数据
mysqlbinlog --no-defaults --stop-position='623' /opt/mysql-bin.000002 | mysql -uroot -p
#仅恢复"user4"的数据,跳过"user3"的数据恢复
mysqlbinlog --no-defaults --start-position='623' /opt/mysql-bin.000002 | mysql -uroot -p

(2)基于时间点恢复

#仅恢复到16:41:24 之前的数据,即不恢复"user4"的数据
mysqlbinlog --no-defaults --stop-datetime='2020-11-22 16:41:24' /opt/mysql-bin.000002 | mysql -uroot -p
#仅恢复"user4"的数据,跳过"user3"的数据恢复
mysqlbinlog --no-defaults--start-datetime='2020-11-22 16:41:24' /opt/mysql-bin.000002 | mysql -uroot -p

如果恢复某条SQL语之前的所有数据,就stop在这个语句的位置节点或者时间点
如果恢复某条SQL语句以及之后的所有数据,就从这个语句的位置节点或者时间点star|

总结

数据库备份

备份方法
物理备份:直接对数据库的数据文件或者日志文件进行备份
逻辑备份:对数据库的库或表对象进行备份


备份策略
完全备份:每次备份都备份完整的数据库
差异备份:只备份上一次完全备份后的更新数据
增量备份:每次备份只备份上一次完全备份或增量备份后的最新数据

压缩文件

tar zcvf  归档文件   原数据文件/目录       gzip
     jcvf                                                      bzip2
     Jcvf                                                     xz
                                                                 zip
                                            
数据迁移  

 体量小          物理冷备        打包备份+恢复
 体量中等        DTS
 体量超大        数据魔方
            
完全备份
物理冷备:先关闭mysqld服务,使用tar 命令打包备份数据库的数据目录/文件  /usr/local/mysql/data/

mysqldump、xtrabackup等工具来逻辑备份
mysqldump -uXXX -pXXX --databases 库1 [库2] ... >  XXX.sql     备份单库或多库
mysqldump -uXXX -pXXX --all-databases > XXX.sql                备份所有的库
mysqldump -uXXX -pXXX 库名 表1 表2 ... > XXX.sql               备份库中的一个或多个表数据(不包含创建库的操作)
mysqldump -uXXX -pXXX 库名 > XXX.sql                           备份库中的所有表数据(不包含创建库的操作)

完全恢复
先登录到mysql,再执行 source XXX.sql(注:如果XXX.sql是表数据文件那么需要先自行创建库并use切换库)

mysql -uXXX -pXXX [库名] < XXX.sql
cat XXX.sql | mysql -uXXX -pXXX [库名]


增量备份
查看二进制日志文件
mysqlbinlog --no-defaults --base64-output=decode-rows -v  二进制日志文件

刷新二进制日志
mysqladmin -uXXX -pXXX flush-logs

使用二进制日志实现增量恢复
mysqlbinlog --no-defaults 二进制日志文件 | mysql -uXXX -pXXX


断点恢复
mysqlbinlog --no-defaults  --start-position="位置点"  --stop-position="位置点"  二进制日志文件 | mysql -uXXX -pXXX

mysqlbinlog --no-defaults  --start-datetime="YYYY-mm-dd HH:MM:SS"  --stop-datetime="YYYY-mm-dd HH:MM:SS"  二进制日志文件 | mysql -uXXX -pXXX

如果需要恢复到某条SQL语句之前的所有数据,就stop在这个语句的位置点或时间点
果如需要恢复某条SQL语句之后的所有数据,就从这个语句的位置点或时间点start
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/31648.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

解决安卓12限制32个线程

Android 12及以上用户在使用Termux时&#xff0c;有时会显示[Process completed (signal 9) - press Enter]&#xff0c;这是因为Android 12的PhantomProcesskiller限制了应用的子进程&#xff0c;最大允许应用有32个子进程。 这里以ColorOS 12.1为例&#xff08;其他系统操作略…

前端vue入门(纯代码)14

内容创作不易&#xff0c;各位帅哥美女&#xff0c;求个小小的赞&#xff01;&#xff01;&#xff01; 【15.给todoList案例添加编辑按钮】 本篇内容在TodoList案例的基础上添加个编辑按钮&#xff0c;要求&#xff1a; &#xff08;1&#xff09;点击编辑按钮后&#xff0c…

数据挖掘——宁县(区、市)农村居民人均可支配收入影响因子分析(论文)

《数据挖掘与分析》课程论文 题目&#xff1a;宁县&#xff08;区、市&#xff09;农村居民人均可支配收入影响因子分析 xx学院xx班&#xff1a;xxx 2022年6月 摘要&#xff1a;农村居民人均可支配收入可能被农作物产量、牲畜存栏、农作物播种数量等诸多因素影响。为此&#…

我的内网渗透-代理转发(1)

概念 网关 必须经过 用来进行路由转发的设备&#xff0c;网关的作用是让不同网段之间能够通信 代理 委托访问 无论代理后面挂了几台设备&#xff0c;都认为是从代理进行访问&#xff0c;对外只表现为代理一台。外部认为是与代理进行…

css小兔鲜项目搭建

目录 精灵图 精灵图的使用步骤 背景图片大小 background连写 文字阴影 盒子阴影 过渡 骨架标签 SEO三大标签 版心的介绍 css书写顺序 项目结构搭建 精灵图 场景&#xff1a;项目中将多张小图片&#xff0c;合并成一张大图片&#xff0c;这张大图片称之为精灵图 优点…

机器人项目创新课题汇总提示

创新课题推荐自己思考并给出&#xff0c;如下案例仅供参考&#xff1a; 不想看&#xff0c;不愿意做&#xff0c;就遵循自己内心想法&#xff0c;做自己喜欢的事情吧。 题目和描述&#xff1a; 自动导航机器人&#xff1a;设计一种能够自主导航的机器人&#xff0c;可以在不需…

pgsql序列的使用

大家都知道pgsql和mysql不同&#xff0c;mysql字段有有自增属性&#xff0c;pgsql并没有&#xff0c;但是pgsql和oracle一样有序列&#xff0c;很多人刚接触pgsql的时候&#xff0c;并不知道序列是什么&#xff0c;怎么用&#xff0c;下面这篇文章就介绍序列&#xff0c;并且怎…

idea如何集成Tomcat

&#xff08;1&#xff09;、这里应该找Add Configuration点击这里&#xff1a;如果没有标志&#xff0c;点击Exit (2)、这里可以配置一个配置项&#xff1a; &#xff08;3&#xff09;、loacl是本地&#xff0c;那个是远程&#xff1a;这里我选择本地 &#xff08;4&#xff…

DJ4-4 NAT、ICMP、IPv6

目录 一、NAT&#xff1a;网络地址转换 1、工作原理 2、NAT 的限制 二、ICMP 1、ICMP 协议 2、ICMP 类型和代码 3、Traceroute 命令 三、IPv6 地址 1、IPv6 的引入 2、IPv6 的表示 一、NAT&#xff1a;网络地址转换 动机&#xff1a;对外部网络来讲&#xff0c;本地…

11-高性能JSON库——fastjson2

目录 1.具体使用 1.1.添加fastjson2依赖 1.2.常用类和方法 1.3.将JSON字符串转换成对象 1.3.1.JSON字符串转换成对象 1.3.2.JSON字符串转换成数组 1.4.将对象转换成JSON字符串 1.4.1.将对象转换成JSON字符串 1.4.2.将数组转换成 JSON 字符串 2.性能测试报告 3.总结 …

Prompt Engineering 面面观

作者&#xff1a;紫气东来 项目地址&#xff1a;https://zhuanlan.zhihu.com/p/632369186 一、概述 提示工程&#xff08;Prompt Engineering&#xff09;&#xff0c;也称为 In-Context Prompting&#xff0c;是指在不更新模型权重的情况下如何与 LLM 交互以引导其行为以获得…

总结905

今日已做&#xff1a; 1.核聚课程 2.进步本回顾&#xff0c;重做8道题&#xff0c;有两道还没掌握&#xff0c;记录3页。 3.线性代数第5讲 4.三大计算&#xff0c;刷题15道&#xff0c;纠错。 5.每日长难句。 6.考研常识课 明日必做 1.熟练背诵《the king’s speech》并默写 2…

字符设备驱动内部实现原理解析

字符设备驱动内部实现原理解析 一. 字符设备驱动对象内部实现原理解析二. 字符设备驱动的注册流程三. 代码示例 一. 字符设备驱动对象内部实现原理解析 用户层&#xff1a; ​ 当用户打开&#xff08;open&#xff09;一个文件时,会生成一个文件描述符表 内核层&#xff1a; 内…

spark 和 flink 的对比

一、设计理念 Spark 的数据模型是 弹性分布式数据集 RDD(Resilient Distributed Dattsets)&#xff0c;这个内存数据结构使得spark可以通过固定内存做大批量计算。初期的 Spark Streaming 是通过将数据流转成批 (micro-batches)&#xff0c;即收集一段时间(time-window)内到达的…

SD/StableDiffusion模型,ai绘画部署教程,谷歌云端零成本部署,支持中文

目录 前言 准备前提 说明 开始搭建 1、第一步&#xff0c;下载ipynb脚本文件 2、第二步&#xff0c;上传一键脚本文件到谷歌云盘 3、选择该.ipynb文件--右键--打开方式--关联更多应用 4、输入框搜索Colaboratory找到该应用&#xff0c;安装 5、安装过程中&#xff0c;…

Linux网络基础

网络基础 认识 "协议"网络协议初识协议分层OSI七层模型TCP/IP五层(或四层)模型 网络传输基本流程网络传输流程图数据包封装和分用 网络中的地址管理认识IP地址认识MAC地址 认识 “协议” “协议” 是一种约定。 举个栗子&#xff0c;你和好友之间提前约好在某个地方…

第九章 形态学图像处理

文章目录 9形态学图像处理9.1预备知识9.2腐蚀与膨胀9.2.1腐蚀9.2.2膨胀9.2.3对偶性 9.3开操作和闭操作9.4击中或击不中变换9.5一些基本形态学方法9.5.1边界提取9.5.2空洞填充9.5.3连通分量的提取9.5.4凸壳9.5.5细化9.5.6粗化 9.6灰度级形态学9.6.3一些基本的形态学算法 9形态学…

kotlin从入门到精通之内置类型

基本类型 声明变量 val&#xff08;value的简写&#xff09;用来声明一个不可变的变量&#xff0c;这种变量在初始赋值之后就再也不能重新赋值&#xff0c;对应Java中的final变量。 var&#xff08;variable的简写&#xff09;用来声明一个可变的变量&#xff0c;这种变量在初始…

C51单片机期末复习第八章单片机接口技术

一 总线&#xff1a; 传送同类信息的连线 三总线&#xff1a; 地址总线AB&#xff0c;数据总线DB,控制总线CB 目录(ppt给的没啥用&#xff0c;乱还不全)&#xff1a; 8.1 单片机的系统总线 8.2 简单并行I/O口扩展 8.3 可编程并行I/O口扩展 8.4 D/A转换与DAC0832应用 8…

衣服面料相关基础

总结自 BiliBili视频&#xff1a;原来衣服的面料还能这么选&#xff0c;几个方法教你买到优质的短袖&#xff0c;再也不怕买衣服踩坑了 面子里子 既不能皱巴巴 又不能不透气 混纺 涤纶 粘纤 氨纶 涤纶 不变性 挺阔感 氨纶 弹性 粘纤 吸水透气40-50% 怕热 真丝与亚麻 …