MySQL / 数据库 / 系统运维

XtraBackup介绍与使用教程

浅时光 · 3月2日 · 2020年 19958次已读

一、XtraBackup介绍

  • Percona XtraBackup是一款基于MySQL的服务器的开源热备份实用程序,在备份过程中不会锁定数据库。它可以备份来自MySQL5.1,5.5,5.6和5.7服务器上的I文章来源(Source):https://www.dqzboy.comnnoDB,XtraDB和MyISAM表的数据,以及带有XtraDB的Percona服务器。
  • Percona XtraBackup为所有版本的Percona Server,MySQL和MariaDB进行MySQL热备份。它执行流,压缩和增量MySQL备份。 
  • 功能:
    • 在不暂停数据库的情况下创建热的InnoDB备份
    • 进行MySQL的增量备份
    • 将压缩的MySQL备份传输到另一台服务器
    • 在MySQL服务器之间移动表格
    • 轻松创建新的MySQL复制从站
    • 在不增加服务器负载的情况下备份MySQL
  • Xtrabackup特点:
    • (1)备份过程快速、可靠
    • (2)备份过程不会打断正在执行的事务
    • (3)能够基于压缩等功能节约磁盘空间和流量
    • (4)自动实现备份检验
    • (5)还原速度快

二、XtraBackup安装部署

1、下载源码包

[[email protected] ~]# yum list installed|grep libgcrypt
XtraBackup介绍与使用教程-浅时光博客
XtraBackup介绍与使用教程-浅时光博客
  • 如果不是对应系统libgcrypt的版本,会出现如下报错:
    • innobackupex: error while loading shared libraries: libgcrypt.so.20: cannot open shared object file: No such file or directory

2、上传软件解压安装

2.1:上传文件

  • 创建文件存储目录
[[email protected] ~]# mkdir /soft
  • 使用xftp或者lrzsz命令等工具上传
XtraBackup介绍与使用教程-浅时光博客

2.2:解压文件

[[email protected] soft]# tar -zxvf percona-xtrabackup-2.4.14-Linux-x86_64.libgcrypt153.tar.gz

2.3:拷贝文件

[[email protected] ~]# cd /soft/percona-xtrabackup-2.4.14-Linux-x86_64/bin/
[[email protected] bin]# cp innobackupex /usr/bin/
[[email protected] bin]# cp xtrabackup /usr/bin
[[email protected] bin]# ./innobackupex --version
XtraBackup介绍与使用教程-浅时光博客

三、XtraBackup命令介绍

  • xtrabackup有两个主要的工具:xtrabackup、innobackupex
    • (1) xtrabackup只能备份InnoDB和XtraDB 两种数据表
    • (2) innobackupex则封装了xtrabackup,同时可以备份MyISAM数据表
  • Innobackupex完整备份后生成了几个重要的文件:
    • xtrabackup_binlog_info:记录当前最新的LOG Positi文章来源(Source):https://www.dqzboy.comon
    • xtrabackup_binlog_pos_innodb:innodb log postion
    • xtrabackup_checkpoints: 存放备份的起始位置beginlsn和结束位置endlsn,增量备份需要这个lsn【增量备份可以在这里面看from和to两个值的变化】

i文章来源(Source):https://www.dqzboy.comnnobackupex

  • xtrabackup命令只备份数据文件,并不备份数据表结构(.frm),所以使用xtrabackup恢复的时候必须有对应表结构文件(.frm)。用innobackupex命令,此命令相当于冷备份,复制数据目录的索引,数据,结构文件,但会有短暂的锁表(时间依赖于MyISAM大小,对MyISAM进行锁表;MySQL的5.7默认是Innodb引擎,但是系统表还是默认的MyIASM引擎,所以会对系统表进行短暂锁表操作)

参数介绍

  • --compress:该选项表示压缩innodb数据文件的文章来源(Source):https://www.dqzboy.com备份。
  • --compress-threads:该选项表示并行压缩worker线程的数量。
  • --compress-chunk-size:该选项表文章来源(Source):https://www.dqzboy.com示每个压缩线程worker buffer的大小,单位是字节,默认是64K。
  • --encrypt:该选项表示通过ENCRYPTION_ALGORITHM的算法加密innodb数据文件的备份,目前支持的算法有ASE128,AES192,AES256。
  • --encrypt-threads:该选项表示并行加密的worker线程数量。
  • --encrypt-chunk-size:该选项表示每个加密线程worker buffer的大小,单位是字节,默认是64K。
  • --encrypt-key:该选项使用合适长度加密key,因为会记录到命令行,所以不推荐使用。
  • --encryption-key-file:该选项表示文件必须是一个简单二进制或者文本文件,加密key可通过以下命令行命令生成:openssl rand -base64 24
  • --include:该选项表示使用正则表达式匹配表的名字[db.tb],要求为其指定匹配要备份的表的完整名称,即databasename.tablename。
  • --user:该选项表示备份账号。
  • --password:该选项表示备份的密码。
  • --port:该选项表示备份数据库的端口。
  • --host:该选项表示备份数据库的地址。
  • --databases:该选项接受的参数为数据名,如果要指定多个数据库,彼此间需要以空格隔开;如:”xtra_test dba_test”,同时,在指定某数据库时,也可以只指定其中的某张表。如:”mydatabase.mytable”。该选项对innodb引擎表无效,还是会备份所有innodb表。此外,此选项也可以接受一个文件为参数,文件中文章来源(Source):https://www.dqzboy.com每一行为一个要备份的对象。
  • --tables-file:该选项表示指定含有表列表的文件,格式为database.table,该选项直接传给–tables-file。
  • --socket:该选项表示mysql.sock所在位置,以便备份进程登录mysql。
  • --no-timestamp:该选项可以表示不要创建一个时间戳目录来存储备份,指定到自己想要的备份文件夹。
  • --ibbackup:该选项指定了使用哪个xtrabackup二进制程序。IBBACKUP-BINARY是运行percona xtrabackup的命令。这个选项适用于xtrbackup二进制不在你是搜索和工作目录,如果指定了该选项,innoabackupex自动决定用的二进制程序。
  • --slave-info:该选项表示对slave进行备份的时候使用,打印出master的名字和binlog pos,同样将这些信息以change master的命令写入xtrabackup_slave_info文件。可以通过基于这份备份启动一个从库。
  • --safe-slave-backup:该选项表示为保证一致性复制状态,这个选项停止SQL线程并且等到show status中的slave_open_temp_tables为0的时候开始备份,如果没有打开临时表,bakcup会立刻开始,否则SQL线程启动或者关闭知道没有打开的临时表。如果slave_open_temp_tables在--safe-slave-backup-timeount(默认300秒)秒之后不为0,从库sql线程会在备份完成的时候重启。
  • --rsync:该选项表示通过rsync工具优化本地传输,当指定这个选项,innobackupex使用rsync拷贝非Innodb文件而替换cp,当有很多DB和表的时候会快很多,不能--stream一起使用。
  • --kill-long-queries-timeout:该选项表示从开始执行FLUSH TABLES WITH READ LOCK到kill掉阻塞它的这些查询之间等待的秒数。默认值为0,不会kill任何查询,使用这个选项xtrabackup需要有Process和super权限。
  • --kill-long-query-type:该选项表示kill的类型,默认是all,可选select。
  • --ftwrl-wait-threshold:该选项表示检测到长查询,单位是秒,表示长查询的阈值。
  • --ftwrl-wait-query-type:该选项表示获得全局锁之前允许那种查询完成,默认是ALL,可选update。
  • --galera-info:该选项表示生成了包含创建备份时候本地节点状态的文件xtrabackup_galera_info文件,该选项只适用于备份PXC。
  • --stream:该选项表示流式备份的格式,backup完成之后以指定格式到STDOUT,目前只支持tar和xbstream。
  • --defaults-file:该选项指定了从哪个文件读取MySQL配置,必须放在命令行第一个选项的位置。
  • --defaults-extra-file:该选项指定了在标准defaults-file之前从哪个额外的文件读取MySQL配置,必须在命令行的第一个选项的位置。一般用于存备份用户的用户名和密码的配置文件。
  • --defaults-group:该选项表示从配置文件读取的组,innobakcupex多个实例部署时使用。
  • --no-lock:该选项表示关闭FTWRL的表锁,只有在所有表都是Innodb表并且不关心backup的binlog pos点,如果有任何DDL语句正在执行或者非InnoDB正在更新时(包括mysql库下的表),都不应该使用这个选项,后果是导致备份数据不一致,如果考虑备份因为获得锁失败,可以考虑--safe-slave-backup立刻停止复制线程。
  • --tmpdir:该选项表示指定--stream的时候,指定临时文件存在哪里,在streaming和拷贝到远程server之前,事务日志首先存在临时文件里。在 使用参数stream=tar备份的时候,你的xtrabackup_logfile可能会临时放在/tmp目录下,如果你备份的时候并发写入较大的话 xtrabackup_logfile可能会很大(5G+),很可能会撑满你的/tmp目录,可以通过参数--tmpdir指定目录来解决这个问题。
  • --history:该选项表示percona server 的备份历史记录在percona_schema.xtrabackup_history表。
  • --incremental:该选项表示创建一个增量备份,需要指定--incremental-basedir
  • --incremental-basedir:该选项表示接受了一个字符串参数指定含有full backup的目录为增量备份的base目录,与--incremental同时使用。
  • --incremental-dir:该选项表示增量备份的目录。
  • --incremental-force-scan:该选项表示创建一份增量备份时,强制扫描所有增量备份中的数据页。
  • --incremental-lsn:该选项表示指定增量备份的LSN,与--incremental选项一起使用。
  • --incremental-history-name:该选项表示存储在PERCONA_SCHEMA.xtrabackup_history基于增量备份的历史记录的名字。Percona Xtrabackup搜索历史表查找最近(innodb_to_lsn)成功备份并且将to_lsn值作为增量备份启动出事lsn.与innobackupex --incremental-history-uuid互斥。如果没有检测到有效的lsn,xtrabackup会返回error。
  • --incremental-history-uuid:该选项表示存储在percona_schema.xtrabackup_history基于增量备份的特定历史记录的UUID。
  • --close-files:该选项表示关闭不再访问的文件句柄,当xtrabackup打开表空间通常并不关闭文件句柄目的是正确的处理DDL操作。如果表空间数量巨大,这是一种可以关闭不再访问的文件句柄的方法。使用该选项有风险,会有产生不一致备份的可能。
  • --compact:该选项表示创建一份没有辅助索引的紧凑的备份。
  • --throttle:该选项表示每秒IO操作的次数,只作用于bakcup阶段有效。--apply-log--copy-back不生效不要一起用。

四、innobackupex使用

1、数据库全备

  • 对某个数据库进行全部备份的命令介绍
innobackupex  --defaults-file=/etc/my.cnf --user=root --password=123456 --database=dbname --stream=tar /tmp/data/ 2>/tmp/data/error.log|gzip 1>/tmp/data/test.tar.gz 
  • 说明:
    • --database=dbname 单独对指定数据库做备份 ,若是不添加此参数那就是对全库做备份
    • 2>/tmp/data/erro文章来源(Source):https://www.dqzboy.comr.log       标准错误输出信息写入日志中
    • 1>/tmp/data/test.tar.gz     打包压缩存储到该文件中

2、全备与恢复

  • 下面开始测试xtrabackup的全部备份

2.1:备份MySQL全库

[[email protected] ~]# innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456 --socket=/data/mysql/mysql.sock /mysql_data_bak/
XtraBackup介绍与使用教程-浅时光博客
  • 注意:--defaults-f文章来源(Source):https://www.dqzboy.comile必须放置命令行的第一个位置,不然报以下错误
    • xtrabackup: Error: --defaults-file must be specified first on the command line

2.2:查看备份数据

  • 指定的备份目录下会生成一个以时间命名的文件夹,备份数据备份在此目录下
[[email protected] mysql_data_bak]# ll
total 20
drwxr-x--- 6 root  root   4096 Jul  1 16:15 2019-07-01_16-15-32

[[email protected] mysql_data_bak]# cd 2019-07-01_16-15-32/
XtraBackup介绍与使用教程-浅时光博客

2.3:数据文件一致性

  • 利用 --apply-log的作用是通过回滚未提交的事务及同步已经提交的事务至数据文件处于一致性状态; 把已提交的事务合并到ibdata文件
[[email protected] ~]# innobackupex --apply-log /mysql_data_bak/2019-07-01_16-15-32/
XtraBackup介绍与使用教程-浅时光博客
  • 查看数据是否有变化,对比之前多几个个文件
XtraBackup介绍与使用教程-浅时光博客

2.4:全库恢复

2.4.1:关闭数据库

[[email protected] ~]# systemctl stop mysqld

2.4.2:将原数据目录备份

[[email protected] ~]# mv /data/mysql{,bak}

[[email protected] ~]# ls /data/
mysqlbak		#已经更改,此时数据库无法使用

2.4.3:创建新的Datadir

[[email protected] ~]# mkdir /data/mysql
  • 注意:/etc/my.cnf文件定义的datadir路径一致,不然数据库起不来

2.4.4:恢复数据

[[email protected] ~]# innobackupex --defaults-file=/etc/my.cnf --user=root --copy-back /mysql_data_bak/2019-07-01_16-15-32/
XtraBackup介绍与使用教程-浅时光博客

2.4.5:重新授权Datadir目录

[[email protected] ~]# chown -R mysql. /data/mysql

2.4.6:启动数据库

[[email protected] ~]# systemctl start mysqld

2.5:登入数据库查看

[[email protected] ~]# mysql -uroot –p
mysql> show databases;
mysql> use xxx;
mysql> show tables;
XtraBackup介绍与使用教程-浅时光博客
XtraBackup介绍与使用教程-浅时光博客

3、对某一个库进行全备与恢复

3.1:备份数据库

  • 先进入mysql里创建一个测试数据库,然后导入一些数据或者自己创建
XtraBackup介绍与使用教程-浅时光博客
XtraBackup介绍与使用教程-浅时光博客

3.2:备份整个数据库

[[email protected] ~]# innobackupex --defaults-file=/etc/my.cnf --user=root --password=123456 --host=11.18.198.91 --databases=yptms /mysql_data_bak/
XtraBackup介绍与使用教程-浅时光博客

3.3:查看备份文件

[[email protected] ~]# cd /mysql_data_bak/
[[email protected] mysql_data_bak]# ll -h
total 16K
drwxr-x--- 3 root  root  149 Jul  1 16:00 2019-07-01_16-00-28
  • 注意:指定的备份目录下会生成一个以时间命名的文件夹,备份数据备份在此目录下
[[email protected] mysql_data_bak]# cd 2019-07-01_16-00-28/
XtraBackup介绍与使用教程-浅时光博客

3.4:数据文件一致性

  • 利用 --apply-log的作用是通过回滚未提交的事务及同步已经提交的事务至数据文件处于一致性状态; 把已提交的事务合并到ibdata文件
[[email protected] ~]# innobackupex --apply-log /mysql_data_bak/2019-07-01_16-15-32/

3.5:恢复数据库

注意:innobackupex不能通过命令恢复指定的数据库,只能文章来源(Source):https://www.dqzboy.com在恢复时停止数据库,然后将当前的datadir目录重新命名,然后新建一个数据目录(必须是/etc/my.cnf文件中指定的datadir路径和名称);最后数据恢复至新建的datadir中后,再将旧的datadir目录下的其他数据库和文件拷贝至新建的datadir目录下,然后在启动数据库(不建议这么操作,数据量大时建议全备后然后全库恢复,保证数据的一致)

3.5.1:停止数据库

[[email protected] ~]# systemctl stop mysqld

3.5.2:重命名原数据目录

[[email protected] ~]# mv /data/mysql /data/mysql_bak

3.5.3:恢复数据库

[[email protected] ~]# innobackupex --defaults-file=/etc/my.cnf --user=root --copy-back /mysql_data_bak/2019-07-01_16-00-28/
  • 执行上面的命令需要保证数据目录是空的,否则会失败,因为目录里有binlog日志,要么移走,要么就用手动复制需要的文件。所以说日志不要和数据放在一起!

3.5.4:数据目录授权

[[email protected] ~]# chown –R mysql. /data/mysql

3.6:启动数据库

[[email protected] ~]# systemctl start mysqld

3.7:检查数据

[[email protected] ~]# mysql –uroot –p
XtraBackup介绍与使用教程-浅时光博客
0 条回应
    本站已安全运行: | 耗时 0.462 秒 | 查询 105 次 | 内存 20.17 MB