MySQL全量、增量备份与恢复

MySQL数据库备份概述

1.数据备份的重要性

在企业中数据的价值至关重要，数据保障了企业业务的正常运行。因此，数据的安全性及数据的可靠性是运维的重中之重,任何数据的丢失都可能对企业产生严重的后果。通常情况下造成数据丢失的原因有如下几种:

程序错误
人为操作错误
运算错误
磁盘故障
灾难(如火灾、地震)和盗窃

2.数据库备份类型

1.从物理与逻辑的角度分类

数据库备份可以分为物理备份和逻辑备份
物理备份是对数据库操作系统物理文件（数据文件、日志文件）的备份
这种类型的备份适用于出现问题时需要快速恢复的大型重要数据库。
物理备份又可以分为冷备份（脱机备份）、热备份（联机备份）和温备份。

冷备份:在数据库关闭状态下进行备份操作。
热备份:在数据库处于运行状态时进行备份操作，该备份方法依赖数据库的日志文件。
温备份:数据库锁定表格(不可写入但可读)的状态下进行备份操作。

逻辑备份是对数据库逻辑组件(如表等数据库对象)的备份，表示为逻辑数据库结构(CREATE DATABASE，CREATE TABLE 语句)和内容(INSERT 语句或分隔文本文件)的信息。这种类型的备份适用于可以编辑数据值或表结构较小的数据量，或者在不同的机器体系结构上重新创建数据。

2.从数据库的备份策略角度分类

从数据库的备份策略角度，数据库的备份可分为完全备份、差异备份和增量备份。
完全备份: 每次对数据进行完整的备份，即对整个数据库、数据库结构和文件结构的备份,保存的是备份完成时刻的数据库,是差异备份与增量备份的基础。完全备份的备份与恢复操作都非常简单方便，但是数据存在大量的重复，并且会占用大量的磁盘空间，备份的时间也很长。
差异备份: 备份那些自从上次完全备份之后被修改过的所有文件，备份的时间节点是从上次完整备份起，备份数据量会越来越大。恢复数据时，只需恢复上次的完全备份与最近的一次差异备份。
增量备份: 只有那些在上次完全备份或者增量备份后被修改的文件才会被备份。以上次完整备份或上次增量备份的时间为时间点,仅备份这之间的数据变化，因而备份的数据量小，占用空间小，备份速度快。但恢复时，需要从上一次的完整备份开始到最后一次增量备份之间的所有增量依次恢复,如中间某次的备份数
据损坏，将导致数据的丢失。

3.常见的备份方法

MySQL 数据库的备份可以采用很多种方式，如直接打包数据库文件(物理冷
备份)、专用备份工具(mysqldump)、二进制日志增量备份、第三方工具备份等

1.物理冷备份

物理冷备份时需要在数据库处于关闭状态下，能够较好地保证数据库的完整性。物理冷备份一般用于非核心业务，这类业务一般都允许中断，物理冷备份的特点就是速度快，恢复时也是最为简单的。通常通过直接打包数据库文件夹(本章中的数据库文件夹位于/usr/local/mysql/data)来实现备份。

2.专用备份工具 mysqldump 或 mysqlhotcopy

mysqldump 程序和 mysqlhotcopy 都可以做备份。mysqldump 是客户端常用逻辑备份程序，能够产生一组被执行以后再现原始数据库对象定义和表数据的SQL语句。它可以转储一个到多个 MySQL 数据库，对其进行备份或传输到远程SQL 服务器。mysqldump 更为通用，因为它可以备份各种表。mysqlhotcopy 仅适用于某些存储引擎。
mysqlhotcopy是由TimBunce 最初编写和贡献的Perl 脚本。mysqlhotcopy 仅用于备份 MyISAM 和 ARCHIVE 表。它只能运行在 UNIX 或 Linux上。因为使用范围小，因此本文中不做详细介绍，如果同学们有兴趣可以在课下研究。

3.通过启用二进制日志进行增量备份

MySQL 支持增量备份，进行增量备份时必须启用二进制日志。二进制日志文件为用户 提供复制，对执行备份点后进行的数据库更改所需的信息进行恢复。如果进行增量备份(包含自上次完全备份或增量备份以来发生的数据修改)，需要刷新二进制日志。

4.通过第三方工具备份

Percona XtraBackup 是一个免费的 MySQL 热备份软件，支持在线热备份Innodb 和 XtraDB,也可以支持 MySQL 表备份,不过 MyISAM 表的备份要在表锁的情况下进行。本节对于 Percona XtraBackupr 的叙述是基于 2.4 版本的。Percona XtrBackup 有三个主要的工具:xtrabackup、innobackupex、xbstream。

xtrabackup:是一个编译了的二进制文件，只能备份Innodb/Xtradb 数据文件。
innodbackupex :是一个封装了 xtrabackup 的Perl脚本，除了可以备份Innodb/Xtradb 之外，还可以备份 MySIAM。
xbstream:是一个新组件，能够允许将文件格式转成xbstream 格式或从xbstream 格式转到文件格式。

数据库完全备份操作

1.物理冷备份与恢复

物理冷备份一般用 tar 命令直接打包数据库文件夹，而在进行备份之前需要使用“systemctl stop mysqld”命令关闭 mysqld 服务。

备份数据库
创建一个目录作为备份数据存储路径，模拟故障

恢复数据库

2.mysqldump 备份与恢复

通过 mysqldump 命令可以将指定的库、表或全部的库导出为 SQL 脚本，便于该命令在不同版本的 MySQL 服务器上使用。例如，当需要升级 MySQL 服务器时，可以先使用 mysqldump 命令将原有库信息导出,然后直接在升级后的 MySQI服务器中导入即可。

1.备份数据库

使用 mysqldump 命令导出数据时，默认会直接在终端显示，若要保存到文件，还需要结合 Shell的“>”重定向输出操作，命令格式如下所示。
格式1:备份指定库中的部分表:

mysqldump[选项]库名[表名1][表名2]…>/备份路径/备份文件名

格式2:备份一个或多个完整的库(包括其中所有的表)

mysqldump[选项]--databases库名1[库名 2]…

格式3:备份MySQL 服务器中所有的库

mysqldump[选项]--al1-databases>/备份路径/备份文件名

其中，常用的选项包括“-u”“-p”，分别用于指定数据库用户名、密码。例如，以下操作分别使用格式 1、格式 2，将 mysql 库中的 user 表导出为mysql-user.sql，将整个 test 库导出为 test.sql 文件，所有操作均以 root用户身份验证。

若需要备份整个 MySQL 服务器中的所有库，应使用格式 3。当导出的数据量较大的时候，可以添加“–opt”选项以优化执行速度。例如，执行以下操作将创建备份文件 all-data.sql，其中包括 MySQL 服务器中的所有库。

2.查看备份文件

通过 mysqldump 工具导出的 SQL 脚本是文本文件，其中“/…/”部分或以“一”开头的行表示注释信息。使用 grep、less、cat 等文本工具可以查看脚本内容。例如,执行以下操作可以过滤出 test.sql 脚本中的数据库操作语句。

3.恢复数据库

使用 mysqldump 命令导出的 SQL 备份脚本，在需要恢复时可以通过 mysql命令对其进行导入操作，命令格式如下所示，

mysql[选项][库名][表名]</备份路径/备份文件名

当备份文件中只包含表的备份，而不包含创建的库的语句时，执行导入操作时必须指定库名，且目标库必须存在。
例如，执行以下操作可以从备份文件 mysql-user.sql 中将表导入test 库。其中“-e”选项是用于指定连接 MySQL 后执行的命令，命令执行完后自动退出。


例如，执行以下操作可以从备份文件 test.sql 恢复 test 库。



除了使用 mysql 命令结合“<”恢复数据外，还可以使用 source 命令恢复数据，具体用法如下

3.MySQL增量备份与恢复

1.MySQL增量备份概述

增量备份的特点
与完全备份不同，增量备份没有重复数据，备份量不大，时间短;但其恢复麻烦，需要上次完全备份及完全备份之后所有的增量备份才能恢复，而且要对所有增量备份进行逐个反推恢复。MySQL没有提供直接的增量备份办法，可以通过MySQL 提供的二进制日志(binary logs)间接实现增量备份。

MySQL二进制日志对备份的意义
二进制日志保存了所有更新数据库的操作。二进制日志在启动 MySQL 服务器后开始记录，并在文件达到二进制日志所设置的最大值或者接收到flushlogs 命令后重新创建新的日志文件，生成二进制文件序列，并及时把这些日志保存到安全的存储位置，即可完成一个时间段的增量备份。使 maxbinlog size配置项可以设置二进制日志文件的最大值，如果二进制文件的大小超过了max binlog size，它就会自动创建新的二进制文件。
要进行 MySQL 的增量备份，首先要开启二进制日志功能。开启 MySQL 的二进制日志功能的实现方法有很多种，最常用的是在 MySQL 配置文件的 mysqld项下加入“log-bin=/文件路径/文件名”前缀，如log-bin=/usr/1ocal/mysq1/mysq1-bin,然后重启 MySQL 服务就可 以在指定路径下查看二进制日志文件了。默认情况下，二进制日志文件的扩展名是一个六位的数字，如 mysql-bin.000001。

Mysq18.0 默认已经开启 binlog，无需显示配置 binlog(默认 binlog 文件为:binlog.000001)，如需自定义binlog 配置，请添加如下配置项

2.MySQL增量恢复

在维护数据库时,因为各种各样的原因可能会导致数据丢失,如:人为的 SQL语句破坏数据库、在进行下一次全备份之前发生系统故障导致数据库数据丢失、在数据库主从架构中主库的数据发生故障等。当出现以上场景时可以使用增量恢复来恢复数据。
常用的增量恢复的方法有三种:一般恢复、基于位置的恢复、基于时间点的恢复。
一般恢复:将所有备份的二进制日志内容全部恢复，命令格式如下所示。

mysqlbinlog [--no-defaults] 增量备份文件|mysql-u 用户名 -p 密码

基于位置的恢复:数据库管理员在操作数据库时可能在同一时间点既有错误的操作也有正确的操作，通过基于位置进行恢复可以更加精准，命令格式如下
·格式 1:恢复数据到指定位置。

mysqlbinlog --stop-position='操作 id’二进制日志|mysql -u 用户名密码

格式 2:从指定的位置开始恢复数据。

mysqlbinlog --start-position='操作 id’二进制日志mysql-u 用户名 -p密码

基于时间点的恢复:跳过某个发生错误的时间点实现数据恢复，而基于时间点的恢复可以分成三种情况。
格式 1:从日志开头截止到某个时间点的恢复。

mysqlbinlog [--no-defaults]--stop-datetime=’年-月-日 小时:分钟:秒进制日志mysql -u 用户名 -p 密码

格式 2:从某个时间点到日志结尾的恢复。

mysqlbinlog[--no-defaults]--start-datetime=年-月-日 小时:分钟:秒二进制日志|mysql -u 用户名 -p 密码

·格式 3:从某个时间点到某个时间点的恢复

mysqlbinlog[--no-defaults]--start-datetime=’年-月-日 小时:分钟:秒--stop-datetime=’年-月-日小时:分钟:秒’二进制日志|mysql -u 用户名 -p密码

3.案例

1.一般恢复

添加信息

一次完全备份
为方便验证二进制日志的增量恢复功能，在插入三条用户数据后先对client 数据库的 user 表进行一次完全备份。然后在 Linux 系统命令行下执行“mysqladmin -uroot -p flush-logs”命令或在“mysql>”命令提示符下执行“flush logs;”生成新的二进制日志

继续录入新的数据并进行增量备份
继续录入两个用户的数据，并执行“mysqladmin-uroot -p flush-logs命令刷新二进制日志，进行增量备份。如此,二进制日志文件 mysql-bin.000002
中仅保留插入两个用户数据的操作。


模拟故障删除user表

恢复操作

2.基于位置恢复

想要实现基于位置或时间点恢复数据,必须先通过查看二进制日志文件确定恢复的位置或时间点。使用“mysqlbinlog --no-defaults 二进制日志文件”可以查看二进制日志文件的具体内容。

上述操作命令中，“–stop-position”指定的是停止的位置。可以使用“–start-position”选项指定开始恢复数据的位置。这时所恢复的数据是从指定位置开始直到二进制日志文件的最后。

3.基于时间点恢复

基于时间点的数据恢复所使用的选项是“–stop-datetime，指定的时间同样也是查询二进制日志所得。



文档详情

制定企业备份策略的思路

在企业中备份策略并不是千篇一律的，而是根据每个企业的实际生产环境与业务需求制定合适的备份策略。无论是选择完全备份，还是选择增量备份，都需考虑它们的优缺点，是否适合当前的生产环境。同时，为了保证恢复的完整性，建议开启二进制日志功能，二进制日志文件给恢复工作也带来了很大的灵活性，可以基于时间点或位置进行恢复。考虑到数据库性能，可以将二进制日志文件保存到其他安全的硬盘中。
在进行热备份时，备份操作和应用服务在同时运行，这样就十分消耗系统资源了，导致数据库服务性能下降，这就需要选择一个合适的时间(如在应用负担很小的时候)再来进行备份操作。
需要注意的是，不是备份完就万事大吉，最好确认备份是否可用，所以备份之后的恢复测试是非常有必要的。同时备份时间也要灵活调整，如:

数据更新频繁，则应该频繁地备份。
数据的重要性，在有适当更新时进行备份。
在数据库压力小的时间段进行备份，如一周一次完全备份，每天进行增量备份。
中小公司，完全备份一般一天一次即可
大公司可每周进行一次完全备份，每天进行一次增量备份。
尽量为企业实现主从复制架构，以增加数据的可用性。

扩展

mysql的GTId

GTID 即全局事务 ID(global transaction identifier)，其保证为每一个在主上提交的事务在复制集群中可以生成一个唯一的 ID。GTID 最初由 google实现，官方 MySQL在5.6才加入该功能
GTID 实际上是由 UUID+TID(即 transactionId)组成的。其中 UUID(即server uuid)产生于 auto.conf 文件(cat /data/mysql/data/auto.cnf)，是个MySQL 实例的唯一标识。TID代表了该实例上已经提交的事务数量，并且随着事务提交单调递增，所以GTID能够保证每个MySQL实例事务的执行(不会重复执行同一个事务，并且会补全没有执行的事务)。GTID在一组复制中，全局唯
通过下面的实验，了解基于 gtid 的增量备份和恢复(Gtid 的备份也是基于binlog 的)

（1）配置my.cnf开启gtid

验证是否开启

（2）创建基本测试库、表、数据

初始化master，会清除所有binlog和gtid信息

创建库创建表插入信息

（3）全量备份

关于数据一致性的提醒的警告信息，可忽略

（4）插入新数据

（5）模拟数据误删除

（6）导出增量数据

这里把 3-7的事务导出，也就是全量备份后，新插入的两条数据，第8个事务不能导除，因为它是 drop database 的误删除语句

（7）恢复全量

清空 GTID 历史,不然恢复全量备份时会产生冲突，生产环境谨慎操作须提前备份

（8）恢复增量