xtrabackup熱備和恢復mysql

阿新 • • 發佈：2017-06-10

熱備份與恢復

3.1xtrabackup介紹：

熱備份的方式也是直接復制數據物理文件，和冷備份一樣，但是熱備份可以不停機直接復制，一般用於7*24小時不間斷的重要核心業務。Mysql的社區版本熱備份工具InnoDB Hot Backup是付費的，只能試用30天，商業版才可以永久的使用，

Percona公司發布一個xtrabackup熱備工具，和付費的工具一樣，支持在線熱備（備份時不影響數據的讀寫）是商業工具InnoDB Hot Backup的一個很好的替代。

xtrabackup熱備工具是一個開源的工具，他可以非常快速的備份和恢復mysql數據庫。Xrabackup 中包含兩個工具：

xtrabackup適用於熱備份

InnoDB及XtraDB表中數據的工具，不能備份其他類型的表，也不能備份數據表結構
innobakupex是將xtrabackup進行封裝的perl腳本，他提供備份MyISAM表的能力，由於innobakupex功能更完善，所以一般采用innobakupex來進行備份，但在處理myisam時需要加一個讀鎖。並且加入了一些使用的選項。如slave-info可以記錄備份恢復後，作為slave需要的一些信息，根據這些信息，可以很方便的利用備份來重做slave。

Xtrabackup可以做什麽：

在線(熱)備份整個庫的InnoDB、 XtraDB表

在xtrabackup的上一次整庫備份基礎上做增量備份(innodbonly)

以流的形式產生備份，可以直接保存到遠程機器上(本機硬盤空間不足時很有用)

MySQL數據庫本身提供的工具並不支持真正的增量備份，二進制日誌恢復是point-in-time(時間點)的恢復而不是增量備份。Xtrabackup工具支持對InnoDB存儲引擎的增量備份，工作原理如下：

(1)首先完成一個完全備份，並記錄下此時檢查點的LSN(LogSequenceNumber)。

(2)在進程增量備份時，比較表空間中每個頁的LSN是否大於上次備份時的LSN，如果是，則備份該頁，同時記錄當前檢查點的LSN。

　　首先，在logfile中找到並記錄最後一個checkpoint(“last checkpoint LSN”

)，然後開始從LSN的位置開始拷貝InnoDB的logfile到xtrabackup_logfile；接著，開始拷貝全部的數據文件.ibd；在拷貝全部數據文件結束之後，才停止拷貝logfile。

　　因為logfile裏面記錄全部的數據修改情況，所以，即時在備份過程中數據文件被修改過了，恢復時仍然能夠通過解析xtrabackup_logfile保持數據的一致。

3.2Xtrabackup備份原理

XtraBackup基於InnoDB的crash-recovery功能。它會復制innodb的datafile，由於不鎖表，復制出來的數據是不一致的，在恢復的時候使用crash-recovery，使得數據恢復一致。

InnoDB維護了一個redo log，又稱為transactionlog，事務日誌，它包含了innodb數據的所有改動情況。當InnoDB啟動的時候，它會先去檢查data file和transaction log，並且會做二步操作：

XtraBackup在備份的時候，一頁一頁地復制innodb的數據，而且不鎖定表，與此同時，XtraBackup還有另外一個線程監視著transactions log，一旦log發生變化，就把變化過的logpages復制走。為什麽要急著復制走呢？因為transactions log文件大小有限，寫滿之後，就會從頭再開始寫，所以新數據可能會覆蓋到舊的數據。

　　在prepare過程中，XtraBackup使用復制到的transactions log對備份出來的innodb data file進行crash recovery。

3.3實現細節

XtraBackup以read-write模式打開innodb的數據文件，然後對其進行復制。其實它不會修改此文件。也就是說，運行XtraBackup的用戶，必須對innodb的數據文件具有讀寫權限。之所以采用read-write模式是因為XtraBackup采用了其內置的 innodb庫來打開文件，而innodb庫打開文件的時候就是rw的。

XtraBackup要從文件系統中復制大量的數據，所以它盡可能地使用posix_fadvise()，來告訴OS不要緩存讀取到的數據，從而提升性能。因為這些數據不會重用到了，OS卻沒有這麽聰明。如果要緩存一下的話，幾個G的數據，會對OS的虛擬內存造成很大的壓力，其它進程，比如mysqld很有可能被swap出去，這樣系統就會受到很大影響了。

在備份innodbpage的過程中，XtraBackup每次讀寫1MB的數據，1MB/16KB=64個page。這個不可配置。讀1MB數據之後，XtraBackup一頁一頁地遍歷這1MB數據，使用innodb的buf_page_is_corrupted()函數檢查此頁的數據是否正常，如果數據不正常，就重新讀取這一頁，最多重新讀取10次，如果還是失敗，備份就失敗了，退出。在復制transactionslog的時候，每次讀寫512KB的數據。同樣不可以配置。

3.4xtrabackup工具的安裝

1軟件下載地址

http://www.percona.com/downloads/軟件下載地址

2直接下載二進制包安裝

不編譯安裝，編譯安裝需要和MySQL源碼包配合。

wgethttp://www.percona.com/downloads/XtraBackup/XtraBackup-2.1.9/binary/Linux/x86_64/percona-xtrabackup-2.1.9-744-Linux-x86_64.tar.gz

tar zxvf percona-xtrabackup-2.1.9-744-Linux-x86_64.tar.gz

[[email protected] bin]# cd/opt/percona-xtrabackup-2.1.9-Linux-x86_64/bin/

[[email protected]_64]# ll bin/

總用量 114072

-rwxr-xr-x 1 root root 168821 5月 2 2014 innobackupex

lrwxrwxrwx 1 root root 12 4月 4 10:11 innobackupex-1.5.1 ->innobackupex

-rwxr-xr-x 1 root root 2226551 5月 2 2014 xbcrypt

-rwxr-xr-x 1 root root 2300304 5月 2 2014 xbstream

-rwxr-xr-x 1 root root 13178050 5月 2 2014 xtrabackup

-rwxr-xr-x 1 root root 16598470 5月 2 2014 xtrabackup_55

-rwxr-xr-x 1 root root 82321834 5月 2 2014 xtrabackup_56

cp innobackupex-1.5.1 /usr/bin/innobackupex

cp xtrabackup_55 /usr/bin/xtrabackup

cp xtrabackup /usr/bin

安裝相關插件

yum install perl-DBI -y

yum install perl-DBD-MySQL -y

yum install perl-Time-HiRes -y

yum install perl-IO-Socket-SSL –y

yum install perl-TermReadKey.x86_64 -y

3.5 innobackupex參數介紹：

--defaults-file=/etc/my.cnf：指定my.cnf配置文件位置

--user=root：指定鏈接數據庫的用戶名

--apply-log：對xtrabackup的—prepare參數的封裝

--copy-back：做數據恢復時把備份文件拷貝到mysql服務器的datadir目錄下

--remote-host：通過ssh將備份數據存儲到遠程的服務器上

--stream：通過指定的數據格式將備份的數據輸出到標準輸出

--tmpdir:當指定了—remote-host或者是—stream參數後，事務日誌需要臨時存儲到本地磁盤，此參數默認使用了mysql服務器的配置

--use-memory：此參數結合ibbackup使用，類似於xrtabackup的參數use-memory參數

--throttle=IOS：同xtrabackup的參數throttle

--sleep:是給ibbackup使用的，指定每備份1M數據，進程停止考唄多少秒，也是為了減少對正常業務的影響，具體查看ibbackup的手冊

-compass:對備份的數據進行壓縮，僅僅支持ibbackup，xtrabackup還沒有實現

--include=REGEXP對xtrabackup參數的封裝，也支持ibbackup；

--database=LIST :列出需要備份的databases,如果沒有制定該參數，則所有包含Myisam和innoDB表的database 都會被備份

--password="*****"：訪問mysql的用戶口令，當mysql的root口令為空時省略—password參數。

PORT=3306 ：指定mysql監聽的端口

--slave-info：slave-info可以記錄備份恢復後，作為slave需要的一些信息，根據這些信息，可以很方便的利用備份來重做slave。

/mysql_backup：備份位置

--socket=SOCKET ：mysql服務器的socket文件的位置

2>/mysql_backup/ innobackupex.log：記錄備份時的輸出

--databases=數據庫名：使用這個參數，針對某個數據庫進行備份,如果不加這個參數默認就是全部的庫備份

innobackupex --defaults-file= /data/mysqldata/3307/my.cnf--user=root --password= [email protected] --databases="cooolyisydb" /backup/full_data/

3.6實例演示操作：

innobackupex --defaults-file= /data/mysqldata/3307/my.cnf--user=root --password= [email protected] --databases="cooolyisydb" /backup/full_data/

[[email protected] backup]# innobackupex --defaults-file= /data/mysqldata/3307/my.cnf--user=root [email protected] --databases="cooolyisydb"/backup/full_data/

Can‘t locate Time/HiRes.pm in @INC (@INC contains:/usr/local/lib64/perl5 /usr/local/share/perl5 /usr/lib64/perl5/vendor_perl/usr/share/perl5/vendor_perl /usr/lib64/perl5 /usr/share/perl5 .) at/usr/bin/innobackupex line 23.

BEGIN failed--compilation aborted at/usr/bin/innobackupex line 23.

報錯解決辦法：

yum -y install perl-Time-HiRes

參考：http://blog.csdn.net/lwei_998/article/details/40896321

1.單庫備份及恢復過程：

創建備份數據存放的目錄：

mkdir -p/backup/{full_data,dk_data,zl_data}

註：full_data 全庫備份目錄

dk_data 單庫備份目錄

zl_data 增量備份目錄

[[email protected] ~]# time innobackupex--defaults-file=/etc/my.cnf --user=root [email protected]#R0ot--socket=/tmp/mysql.sock --port=3306 --databases="mahtu" --slave-info/backup/full_data/

This software is published under

the GNU GENERAL PUBLIC LICENSE Version 2, June 1991.

Get the latest version of Percona XtraBackup,documentation, and help resources:

http://www.percona.com/xb/p

170404 13:28:55 innobackupex: Connecting to MySQL server with DSN‘dbi:mysql:;mysql_read_default_file=/etc/my.cnf;mysql_read_default_group=xtrabackup;port=3306;mysql_socket=/tmp/mysql.sock‘as ‘root‘ (using password: YES).

170404 13:28:55 innobackupex: Connected to MySQL server

170404 13:28:55 innobackupex: Executing a version check against the server...

170404 13:28:58 innobackupex: Done.

IMPORTANT: Please check that the backup runcompletes successfully.

Atthe end of a successful backup run innobackupex

prints "completed OK!".

innobackupex: Using mysql server version 5.5.48

innobackupex: Created backup directory /backup/full_data/2017-04-04_13-28-58

170404 13:28:58 innobackupex: Starting ibbackup with command: xtrabackup_55 --defaults-file="/etc/my.cnf" --defaults-group="mysqld" --backup--suspend-at-end --target-dir=/backup/full_data/2017-04-04_13-28-58 --tmpdir=/tmp

innobackupex: Waiting for ibbackup (pid=26398) tosuspend

innobackupex: Suspend file‘/backup/full_data/2017-04-04_13-28-58/xtrabackup_suspended_2‘

xtrabackup_55 version 2.1.9 for Percona Server5.5.35 Linux (x86_64) (revision id: 744)

xtrabackup: uses posix_fadvise().

xtrabackup: cd to /data/mysql/

xtrabackup: open files limit requested 65535, setto 65535

xtrabackup: using the following InnoDBconfiguration:

xtrabackup: innodb_data_home_dir = /usr/local/mysql/var

xtrabackup: innodb_data_file_path = ibdata1:10M:autoextend

xtrabackup: innodb_log_group_home_dir = /usr/local/mysql/var

xtrabackup: innodb_log_files_in_group = 2

xtrabackup: innodb_log_file_size = 268435456

>> log scanned up to (619371504)

[01] Copying/usr/local/mysql/var/ibdata1 to /backup/full_data/2017-04-04_13-28-58/ibdata1

>> log scanned up to (619371504)

.......................