九星市场做网站,东莞外贸公司建网站,seo人员的相关薪资,美食网网站建设目的目录 一.MySQL数据库备份概述
1.数据备份的重要性
2.数据库备份类型
3.常见的备份方法
二#xff1a;数据库完全备份操作
1.物理冷备份与恢复
2.mysqldump 备份与恢复
3.MySQL增量备份与恢复
3.1MySQL增量恢复
3.2MySQL备份案例
三#xff1a;定制企业备份策略思路…目录 一.MySQL数据库备份概述
1.数据备份的重要性
2.数据库备份类型
3.常见的备份方法
二数据库完全备份操作
1.物理冷备份与恢复
2.mysqldump 备份与恢复
3.MySQL增量备份与恢复
3.1MySQL增量恢复
3.2MySQL备份案例
三定制企业备份策略思路
四扩展Mysql的GTID 和 XtraBackup
1.Mysql 的 GTID
2.XtraBackup 一.MySQL数据库备份概述
备份的主要目的是灾难恢复备份还可以测试应用、回滚数据修改、查询历史数据、审计等。之前已经学习过如何安装 MySQL本小节将从生产运维的角度了解备份恢复的分类与方法。
1.数据备份的重要性
在企业中数据的价值至关重要数据保障了企业业务的正常运行。因此数据的安全性及数据的可靠性是运维的重中之重,任何数据的丢失都可能对企业产生严重的后果。通常情况下造成数据丢失的原因有如下几种:
程序错误人为操作错误。运算错误。磁盘故障。灾难(如火灾、地震)和盗窃
2.数据库备份类型
1从物理与逻辑的角度分类
数据库备份可以分为物理备份和逻辑备份。
物理备份是对数据库操作系统物理文件(如数据文件、日志文件等)的备份。
这种类型的备份适用于在出现问题时需要快速恢复的大型重要数据库。 物理备份又可以分为冷备份(脱机备份)、热备份(联机备份)和温备份
冷备份:在数据库关闭状态下进行备份操作。热备份:在数据库处于运行状态时进行备份操作该备份方法依赖数据库的日志文件。温备份:数据库锁定表格(不可写入但可读)的状态下进行备份操作。
逻辑备份是对数据库逻辑组件(如表等数据库对象)的备份表示为逻辑数据库结构(CREATE DATABASECREATE TABLE 语句)和内容(INSERT 语句或分隔文本文件)的信息。这种类型的备份适用于可以编辑数据值或表结构较小的数据量或者在不同的机器体系结构上重新创建数据
2从数据库的备份策略角度分类
从数据库的备份策略角度数据库的备份可分为完全备份、差异备份和增量备份。
完全备份:每次对数据进行完整的备份即对整个数据库、数据库结构和文件结构的备份,保存的是备份完成时刻的数据库,是差异备份与增量备份的基础。完全备份的备份与恢复操作都非常简单方便但是数据存在大量的重复并且会占用大量的磁盘空间备份的时间也很长。
差异备份:备份那些自从上次完全备份之后被修改过的所有文件备份的时间节点是从上次完整备份起备份数据量会越来越大。恢复数据时只需恢复上次的完全备份与最近的一次差异备份。
增量备份:只有那些在上次完全备份或者增量备份后被修改的文件才会被备份。以上次完整备份或上次增量备份的时间为时间点,仅备份这之间的数据变化因而备份的数据量小占用空间小备份速度快。但恢复时需要从上一次的完整备份开始到最后一次增量备份之间的所有增量依次恢复,如中间某次的备份数据损坏将导致数据的丢失。
3.常见的备份方法
MySQL 数据库的备份可以采用很多种方式如直接打包数据库文件(物理冷备份)、专用备份工具(mysqldump)、二进制日志增量备份、第三方工具备份等。
1物理冷备份
物理冷备份时需要在数据库处于关闭状态下能够较好地保证数据库的完整性。物理冷备份一般用于非核心业务这类业务一般都允许中断物理冷备份的特点就是速度快恢复时也是最为简单的。通常通过直接打包数据库文件夹(本章中的数据库文件夹位于/usr/local/mysql/data)来实现备份。
2专用备份工具 mysqldump 或 mysqlhotcopy
mysqldump 程序和 mysqlhotcopy 都可以做备份。mysqldump 是客户端常用逻辑备份程序能够产生一组被执行以后再现原始数据库对象定义和表数据的SQL 语句。它可以转储一个到多个 MySQL 数据库对其进行备份或传输到远程SQL 服务器。mysqldump 更为通用因为它可以备份各种表。mysqlhotcopy 仅适用于某些存储引擎。
mysqlhotcopy是由TimBunce 最初编写和贡献的Perl 脚本。mysqlhotcopy 仅用于备份 MyISAM 和 ARCHIVE 表。它只能运行在 UNIX 或 Linux上。因为使用范围小因此本文中不做详细介绍如果同学们有兴趣可以在课下研究。
3通过启用二进制日志进行增量备份
MySQL 支持增量备份进行增量备份时必须启用二进制日志。二进制日志文件为用户 提供复制对执行备份点后进行的数据库更改所需的信息进行恢复。如果进行增量备份(包含自上次完全备份或增量备份以来发生的数据修改)需要刷新二进制日志。
4通过第三方工具备份
Percona XtraBackup 是一个免费的 MySQL 热备份软件支持在线热备份Innodb 和 XtraDB,也可以支持 MySQL 表备份,不过 MyISAM 表的备份要在表锁的情况下进行。本节对于 Percona XtraBackupr 的叙述是基于 2.4 版本的。Percona XtrBackup 有三个主要的工具:xtrabackup、innobackupex、xbstream.
xtrabackup:是一个编译了的二进制文件只能备份Innodb/Xtradb 数据文件。innodbackupex :是一个封装了 xtrabackup 的Perl 脚本除了可以备份Innodb/Xtradb 之外还可以备份 MySIAM。xbstream:是一个新组件能够允许将文件格式转成xbstream 格式或从xbstream 格式转到文件格式。
xtrabackup 工具可以单独使用但推荐使用 innobackupex 来进行备份这是因为 innobackupex本身就已经包含了 xtrabackup 的所有功能。
xtrabackup 是基于 Innodb 的灾难恢复功能进行设计的备份工具复制Innodb 的数据文件。但是由于不锁表这样复制出来的数据将不一致。Innodb维护了一个重做日志包含 Innodb 数据的所有改动情况。在 xtrabackup 备份[nnodb 数据的同时xtrabackup 还有另外一个线程用来监控重做日志一但日志发生变化就把发生变化的日志数据复制走。这样就可以利用重做日志做灾难恢复了。
以上是备份过程如果需要恢复数据则在准备阶段xtrabackup 就需要使用之前复制的重做日志对备份出来的 Innodb 数据文件进行灾难恢复,此阶段完成之后数据库就可以进行重建还原了。
二数据库完全备份操作
上面提到根据数据库备份策略分类备份可分为完全备份、差异备份和增量备份。
1.物理冷备份与恢复
物理冷备份一般用 tar 命令直接打包数据库文件夹而在进行备份之前需要使用“systemctl stop mysqld”命令关闭 mysqld 服务。
1备份数据库
创建一个/backup 目录作为备份数据存储路径使用tar 创建备份文件。
整个数据库文件夹备份属于完全备份
备份auth数据库下的user表 2恢复数据库
先删除 auth 下的 use r表 执行下面操作将数据库文件/usr/local/mysql/data/转移至 bak 目录下 恢复data文件 2.mysqldump 备份与恢复
通过 mysqldump 命令可以将指定的库、表或全部的库导出为 SQL 脚本便于该命令在不同版本的 MySQL 服务器上使用。例如当需要升级 MySQL 服务器时可以先使用 mysqldump 命令将原有库信息导出,然后直接在升级后的 MySQL服务器中导入即可。
1备份数据库
使用 mysqldump 命令导出数据时默认会直接在终端显示若要保存到文件还需要结合 She11 的“〉”重定向输出操作命令格式如下所示。
格式1:备份指定库中的部分表
mysqldump [选项] 库名 [表名 1] [表名 2]… /备份路径/备份文件名
格式2:备份一个或多个完整的库(包括其中所有的表)
mysqldump [选项] --databases 库名1 [库名2] … /备份路径/备份文件名
格式3:备份MySQL服务器中所有的库。
mysqldump [选项] --all-databases /备份路径/备份文件名
其中常用的选项包括“-u”、.“-p”分别用于指定数据库用户名、密码。例如以下操作分别使用格式 1、格式 2将 mysql 库中的 user 表导出为mysq1-user.sql将整个 mysql 库导出为 mysql.sql 文件所有操作均以 root用户身份验证。 若需要备份整个 MySQL 服务器中的所有库应使用格式 3。当导出的数据量较大的时候可以添加“--opt”选项以优化执行速度。例如执行以下操作将创建备份文件 all-data.sq1其中包括 MySQL 服务器中的所有库。 (2)查看备份文件
通过 mysqldump 工具导出的 SQL 脚本是文本文件其中“/*…*/”部分或以“一”开头的行表示注释信息。使用 grep、less、cat 等文本工具可以查看脚本内容。例如,执行以下操作可以过滤出users.sql 脚本中的数据库操作语句。 3恢复数据库
使用 mysqldump 命令导出的 SQL 备份脚本在需要恢复时可以通过 mysql命令对其进行导入操作命令格式如下所示。
mysql [选项 ][库名] [表名] /备份路径/备份文件名
当备份文件中只包含表的备份而不包含创建的库的语句时执行导入操作时必须指定库名且目标库必须存在。
例如执行以下操作可以从备份文件 mysql-user.sql 中将表导入mysql 库。其中“-e”选项是用于指定连接 MySQL 后执行的命令命令执行完后自动退出。 例如执行以下操作可以从备份文件 auth.sql 恢复 auth 库。 删除auth数据库模拟故障 执行恢复操作 确认恢复结果 3.MySQL增量备份与恢复
使用 mysqldump 进行完全备份备份的数据中有重复数据备份时间与恢复时间过长。而增量备份就是自上一次备份之后增加或改变的内容。
1MySQL增量备份概述
与完全备份不同增量备份没有重复数据备份量不大时间短:但其恢复麻烦需要上次完全备份及完全备份之后所有的增量备份才能恢复而且要对所有增量备份进行逐个反推恢复。MySQL 没有提供直接的增量备份办法可以通过MySQL 提供的二进制日志(binary logs)间接实现增量备份。
(2) MySQL 二进制日志对备份的意义
二进制日志保存了所有更新数据库的操作。二进制日志在启动MySQL服务器后开始记录并在文件达到二进制日志所设置的最大值或者接收到 flushlogs 命令后重新创建新的日志文件生成二进制文件序列并及时把这些日志保存到安全的存储位置即可完成一个时间段的增量备份。使 max_binlog_size配置项可以设置二进制日志文件的最大值如果二进制文件的大小超过了max_binlog size它就会自动创建新的二进制文件。
要进行 MySQL 的增量备份首先要开启二进制日志功能。开启 MySQL 的二进制日志功能的实现方法有很多种最常用的是在 MySQL 配置文件的 mysqld项下加入“log-bin/ 文件路径/文件名”前缀如log-bin/usr/local/mysq1/mysql-bin,然后重启 MySQL 服务就可 以在指定路径下查看二进制日志文件了。默认情况下二进制日志文件的扩展名是一个六位的数字如 mysql-bin.000001。
Mysq18.0 默认已经开启 binlog无需显示配置 binlog(默认 binlog 文件为:binlog.000001)如需自定义binlog 配置请添加如下配置项 重启数据库后查看二进制文件 3.1MySQL增量恢复
在维护数据库时,因为各种各样的原因可能会导致数据丢失,如:人为的 SQI语句破坏数据库、在进行下一次全备份之前发生系统故障导致数据库数据丢失、在数据库主从架构中主库的数据发生故障等。当出现以上场景时可以使用增量恢复来恢复数据。
常用的增量恢复的方法有三种:一般恢复、基于位置的恢复、基于时间点的恢复。
一般恢复:将所有备份的二进制日志内容全部恢复命令格式如下所示。
mysqlbinlog [--no-defaults] 增量备份文件 | mysql -u 用户名 -p 密码
基于位置的恢复:数据库管理员在操作数据库时可能在同一时间点既有错误的操作也有正确的操作通过基于位置进行恢复可以更加精准命令格式如下所示
格式 1:恢复数据到指定位置。
mysqlbinlog --stop-position 操作 id 二进制文件 | mysql -u 用户名 -p 密码
格式2从指定的位置开始恢复数据。
mysqlbinlog --start-position 操作 id 二进制文件 | mysql -u 用户名 -p 密码
基于时间点的恢复:跳过某个发生错误的时间点实现数据恢复而基于时间点的恢复可以分成三种情况。
格式 1:从日志开头截止到某个时间点的恢复。
mysqlbinlog [--no-defaults] --stop-datetime 年-月-日 小时分秒 二进制日志 | mysql -u 用户名 -p 密码
格式 2:从某个时间点到日志结尾的恢复。
mysqlbinlog [--no-defaults] --start-datetime 年-月-日 小时:分钟:秒二进制日志 | mysql -u 用户名 -p 密码
格式 3:从某个时间点到某个时间点的恢复。
mysqlbinlog [--no-defaults] --start-datetime 年-月-日 小时:分钟:秒’ -- stop-datetime ’年-月-日小时:分钟:秒’ 二进制日志 | mysql -u 用户名 -p 密码
3.2MySQL备份案例
1添加数据库表录入信息 2先进行一次完全备份 刷新二进制日志 3继续录入新的数据进行增量备份
继续录入两个用户的数据并执行“mysqladmin-uroot-p flush-logs’命令刷新二进制日志,进行增量备份。如此,二进制日志文件 mysql-bin.000003 中仅保留插入两个用户数据的操作。 复制二进制文件mysql-bin.000003 4模拟误操作删除user表 5恢复操作
执行恢复操作时需要先恢复完全备份再恢复增量备份
恢复完全备份 恢复增量备份 基于位置恢复
由于前面已经做过备份操作接下来直接进行模拟故障与数据恢复的操作。
模拟误操作删除user表 恢复完全备份 想要实现基于位置或时间点恢复数据,必须先通过查看二进制日志文件确定恢复的位置或时间点。使用“mysqlbinlog -no-defaults 二进制日志文件”可以查看二进制日志文件的具体内容。 基于时间点恢复 三定制企业备份策略思路
在企业中备份策略并不是千篇一律的而是根据每个企业的实际生产环境与业务需求制定合适的备份策略。无论是选择完全备份还是选择增量备份都需考虑它们的优缺点是否适合当前的生产环境。同时为了保证恢复的完整性建议开启二进制日志功能二进制日志文件给恢复工作也带来了很大的灵活性可以基于时间点或位置进行恢复。考虑到数据库性能可以将二进制日志文件保存到其他安全的硬盘中
在进行热备份时备份操作和应用服务在同时运行这样就十分消耗系统资源了导致数据库服务性能下降这就需要选择一个合适的时间(如在应用负担很小的时候)再来进行备份操作。
需要注意的是不是备份完就万事大吉最好确认备份是否可用所以备份之后的恢复测试是非常有必要的。同时备份时间也要灵活调整如:
数据更新频繁则应该频繁地备份。数据的重要性在有适当更新时进行备份在数据库压力小的时间段进行备份如一周一次完全备份每天进行增量备份。中小公司完全备份一般一天一次即可。大公司可每周进行一次完全备份每天进行一次增量备份。尽量为企业实现主从复制架构以增加数据的可用性。
四扩展Mysql的GTID 和 XtraBackup
1.Mysql 的 GTID
GTID 即全局事务 ID(global transaction identifier)其保证为每一个在主上提交的事务在复制集群中可以生成一个唯一的 ID。GTID 最初由 google实现官方 MySQL在 5.6才加入该功能
GTID 实际上是由 UUIDTID(即 transactionId)组成的。其中 UUID(即server uuid)产生于auto.conf 文件(cat /data/mysql/data/auto.cnf)是个 MySQL 实例的唯一标识。TID 代表了该实例上已经提交的事务数量并且随着事务提交单调递增所以GTID能够保证每个MySQL,实例事务的执行(不会重复执行同一个事务并且会补全没有执行的事务)。GTID在一组复制中全局唯一
通过下面的实验了解基于 gtid 的增量备份和恢复(Gtid 的备份也是基于binlog 的)
(1)配置 my.cnf 开启 gtid 2创建基本测试库表数据
初始化master 再test数据库下创建1测试表user1初始、插入3条数据 3全量备份 4插入新数据 5模拟数据误删 6导出增量数据 7恢复全量 8恢复增量 2.XtraBackup
MySQL 冷备、mysqldump、MySQL 热拷贝都无法实现对数据库进行增量备份。在实际生产环境中增量备份是非常实用的如果数据大于50G或100G存储空间足够的情况下可以每天进行完整备份如果每天产生的数据量较大需要定制数据备份策略。例如每周实用完整备份周一到周六实用增量备份。而Percona-Xtrabackup 就是为了实现增量备份而出现的一款主流备份工具xtrabakackup有2个工具分别是xtrabakup、innobakupe。
Percona-xtrabackup 是 Percona 公司开发的一个用于 MySQL, 数据库物理热备的备份工具支持 MySQL、Percona server 和 MariaDB开源免费是目前较为受欢迎的主流备份工具。xtrabackup 只能备份 innoDB 和 xtraDB 两种数据引擎的表而不能备份 MyISAM 数据表。
1)安装xtrabackup (2)安装qpress
qpress是解压缩需要用到的工具 3完整备份与恢复
备份
--backup 备份
--compress 压缩 恢复
解压备份数据 准备备份文件以供恢复 恢复数据 启动数据库
