9 .mysql的備份與恢復
1 MySQL的備份設計
1.1 備份策略的設計
備份週期,可以根據數量來進行選擇
備份工具: 可以選擇mysql軟體自帶的命令mysqldump 或者 XBK工具
備份方式: 全備 增量
1.2 檢查備份的可用性
crontab -l :檢查定時任務中是否有備份的指令碼
檢視備份日誌
1.3 定期的恢復演練
1.4 資料恢復
主要備份和日誌是完整的,恢復到故障之前的時間點(快速的)
1.5 資料的遷移
mysql ----> mysql 其他------->mysql mysql ------>其他
2.備份的介紹
2.1 備份型別: 熱備 冷備 溫備
3. mysqldump(邏輯備份)
基礎引數:
-A # 備份全庫 >>mysqldump -uroot -p123 -A >/tmp/full.sql
-B # 備份某個特定的庫 >>mysqldump -uroot -p123 -B city(庫名) wordpress(庫名) >/tmp/db.sql
庫名 表名 #備份某個庫中的某一個表 >> mysqldump -uroot -p123 world(庫名) test(表名) test1(表名)>/backup/tab.sql
特殊備份引數:
-R :儲存過程和函式
-E :事件
--trigger:觸發器
--master-data=2
功能:
(1)記錄備份時刻的binlog資訊
(2)自動鎖表
不加 --single-transaction : 溫備份
加了 --singel-transaction :對於innodb表不鎖表
擴充套件引數:
--set-gtid-purged=AUTO/ON (做主從複製時一定要用ON或AUTO)
--set-gtid-purged=OFF (僅是做普通的本機備份恢復時,可以新增)
--max_allowed_packet=128M #控制的是備份是傳輸資料包的大小
4. 案例(關於mysqldump)
場景:正在執行的網站系統,mysql-5.7.20資料庫,資料量50G,日業務增量1-5M,每天23:00,計劃任務呼叫mysqldump執行全備指令碼
模擬故障時間點:年底故障演練:模擬週三上午10點刪除資料庫,並進行恢復
恢復思路:
1.停業務,避免資料的二次傷害
2.找一個臨時庫,恢復週二23:00全備
3.擷取週二23:00 -- 週三10點誤刪除之間的binlog,恢復臨時庫
4.測試可用性和完整性
5.方式一: 直接使用臨時庫頂替原生產庫,前端應用割接到新庫
方式二: 將誤刪除的表匯出,匯入到原生產庫中
模擬演練:
1.準備資料 create database backup; use backup; create table t1(id int); insert into t1 values(1),(2),(3) commit;
2.週二23:00全備
mysqldump -uroot -p123 -A -R --triggers --set-gtid-purged=OFF --master-data=2 --single-transaction|gzip > /backup/full_$(date+%F).sql.gz
3. 模擬週二23:00到週三10點之間資料變化
use backup;
insert into t1(11),(12),(13);
commit;
create table t2 (id int);
insert into t2 values(11),(22),(33);
4.刪庫(模擬)
drop backup
5.利用gtid 恢復週二23:00到宕機時刻的資料
可以檢視命令: show binlog events in '當前正在使用的二進位制日誌',從中找出需要的資料所對應的GTID號
備份命令: mysqlbinlog --skip-gtids --include-gtids='62b6a13b-19b2-11eb-a0b7-00163e2ce7ef:6-7' --exclude-gtids='9a85ae81-0d17-11eb-9975-00163e1430bc:6' mysql-bin.000005>/bakup/bin.sql
6開始恢復
set sql_log_bin=0
source /backup/full_xxxx.sql
source /bakup/bin.sql
set sql_log_bin=1
5. mysql之物理備份(Xtrabakup)
5.1 安裝
wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo ###換源,用阿里源比較快一些 yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev ###安裝需要的依賴庫 wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.12/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm ####這個是centos6版本下的XBK軟體 https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm ###這個是centos7版本下的XBK軟體 yum -y install percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm ###執行這個命令就開始安裝
5.2 使用說明:
1. Xtrabackup
2. innobackupex ******
(1)對於非Innodb表(比如 myisam)是,鎖表cp資料檔案,屬於一種溫備份。
(2)對於Innodb的表(支援事務的),不鎖表,拷貝資料頁,最終以資料檔案的方式儲存下來,把一部分
redo和undo一併備走,屬於熱備方式
。
工作原理:Xbk在innodb表備份恢復的流程
0、xbk備份執行的瞬間,立即觸發ckpt,已提交的資料髒頁,從記憶體刷寫到磁碟,並記錄此時的LSN號 1、備份時,拷貝磁碟資料頁,並且記錄備份過程中產生的redo和undo一起拷貝走,也就是checkpoint LSN之後的日誌 2、在恢復之前,模擬Innodb“自動故障恢復”的過程,將redo(前滾)與undo(回滾)進行應用 3、恢復過程是cp 備份到原來資料目錄下
innobackupex使用
[root@db01 backup]# innobackupex --user=root --password=123 --no-timestamp /data/backup/full #####全備(備份整個資料庫)
備份後產生的檔案:
-rw-r----- 1 root root 24 Jun 29 09:59 xtrabackup_binlog_info -rw-r----- 1 root root 119 Jun 29 09:59 xtrabackup_checkpoints -rw-r----- 1 root root 489 Jun 29 09:59 xtrabackup_info -rw-r----- 1 root root 2560 Jun 29 09:59 xtrabackup_logfile xtrabackup_binlog_info :(備份時刻的binlog位置) [root@db01 full]# cat xtrabackup_binlog_info mysql-bin.000003 536749 79de40d3-5ff3-11e9-804a-000c2928f5dd:1-7 記錄的是備份時刻,binlog的檔名字和當時的結束的position,可以用來作為擷取binlog時的起點。 xtrabackup_checkpoints : backup_type = full-backuped from_lsn = 0 上次所到達的LSN號(對於全備就是從0開始,對於增量有別的顯示方法) to_lsn = 160683027 備份開始時間(ckpt)點資料頁的LSN last_lsn = 160683036 備份結束後,redo日誌最終的LSN compact = 0 recover_binlog_info = 0 (1)備份時刻,立即將已經commit過的,記憶體中的資料頁重新整理到磁碟(CKPT).開始備份資料,資料檔案的LSN會停留在to_lsn位置。 (2)備份時刻有可能會有其他的資料寫入,已備走的資料檔案就不會再發生變化了。 (3)在備份過程中,備份軟體會一直監控著redo的undo,如果一旦有變化會將日誌也一併備走,並記錄LSN到last_lsn。 從to_lsn ----》last_lsn 就是,備份過程中產生的資料變化.
5.3 全備的恢復:
準備備份(Perpared)
###將redo進行重做,已經提交的寫到資料檔案,未提交的使用undo回滾掉,模擬了CSR過程
innobackupex --apply-log /backup/full
恢復備份:
前提:
1.被恢復的目錄是空的
2.被恢復的資料庫的例項是關閉的 systemctl stop mysqld
步驟:
1.建立一個新的目錄並授權
mkdir /data/mysql1
chown -R mysql.mysql /data/mysql1
2. 恢復備份
cp -a /bakup/full/* /data/mysql1/
3. 啟動一下資料
vim /etc/my.cnf datadir=/data/mysql1 [root@db01 mysql1]# chown -R mysql.mysql /data/mysql1 systemctl start mysqld
5.4 innobackupex 增量備份
(1)增量備份的方式,是基於上一次備份進行增量。 (2)增量備份無法單獨恢復。必須基於全備進行恢復。 (3)所有增量必須要按順序合併到全備中。
過程:
(1)刪掉原來備份 略. (2)全備(週日) [root@db01 backup]# innobackupex --defaults-file=/data/3307/mysql.sock --user=root --password=123 --no-timestamp /backup/full >&/tmp/xbk_full.log (3)模擬週一資料變化 db01 [(none)]>create database cs charset utf8; db01 [(none)]>use cs db01 [cs]>create table t1 (id int); db01 [cs]>insert into t1 values(1),(2),(3); db01 [cs]>commit; (4)第一次增量備份(週一) innobackupex --defaults-file=/data/3307/mysql.sock --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/full /backup/inc1 &>/tmp/inc1.log (5)模擬週二資料 db01 [cs]>create table t2 (id int); db01 [cs]>insert into t2 values(1),(2),(3); db01 [cs]>commit; (6)週二增量 innobackupex --defaults-files=/data/3307/mysql.sock --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/inc1 /backup/inc2 &>/tmp/inc2.log (7)模擬週三資料變化 db01 [cs]>create table t3 (id int); db01 [cs]>insert into t3 values(1),(2),(3); db01 [cs]>commit; db01 [cs]>drop database cs;
恢復:
恢復思路: 1. 掛出維護頁,停止當天的自動備份指令碼 2. 檢查備份:週日full+週一inc1+週二inc2,週三的完整二進位制日誌 3. 進行備份整理(細節),擷取關鍵的二進位制日誌(從備份——誤刪除之前) 4. 測試庫進行備份恢復及日誌恢復 5. 應用進行測試無誤,開啟業務 6. 此次工作的總結
恢復過程:
1. 檢查備份 1afe8136-601d-11e9-9022-000c2928f5dd:7-9 2. 備份整理(apply-log)+合併備份(full+inc1+inc2) (1) 全備的整理 [root@db01 one]# innobackupex --apply-log --redo-only /data/backup/full (2) 合併inc1到full中 [root@db01 one]# innobackupex --apply-log --redo-only --incremental-dir=/data/backup/inc1 /data/backup/full (3) 合併inc2到full中 [root@db01 one]# innobackupex --apply-log --incremental-dir=/data/backup/inc2 /data/backup/full (4) 最後一次整理全備 [root@db01 backup]# innobackupex --apply-log /data/backup/full 3. 擷取週二 23:00 到drop 之前的 binlog [root@db01 inc2]# mysqlbinlog --skip-gtids --include-gtids='1afe8136-601d-11e9-9022-000c2928f5dd:7-9' /data/binlog/mysql-bin.000009 >/data/backup/binlog.sql 4. 進行恢復 [root@db01 backup]# mkdir /data/mysql/data2 -p [root@db01 full]# cp -a * /data/mysql/data2 [root@db01 backup]# chown -R mysql. /data/* [root@db01 backup]# systemctl stop mysqld vim /etc/my.cnf datadir=/data/mysql/data2 systemctl start mysqld Master [(none)]>set sql_log_bin=0; Master [(none)]>source /data/backup/binlog.sql
補充一下:
思考:在之前的專案案例中,如果誤刪除的表只有10M,而備份有500G,該如何快速恢復誤刪除表? 提示: drop table city; create table city like city_bak; alter table city discard tablespace; cp /backup/full/world/city.ibd /application/mysql/data/world/ chown -R mysql.mysql /application/mysql/data/world/city.ibd alter table city import tablespace;
2.從mysqldump全備中獲取庫和表的備份
1、獲得表結構 # sed -e'/./{H;$!d;}' -e 'x;/CREATE TABLE `city`/!d;q' full.sql>createtable.sql 2、獲得INSERT INTO 語句,用於資料的恢復 # grep -i 'INSERT INTO `city`' full.sqll >data.sql & 3.獲取單庫的備份 # sed -n '/^-- Current Database: `world`/,/^-- Current Database: `/p' all.sql >world.sql