1 MySQL的備份設計

　　1.1 備份策略的設計

　　　　備份週期，可以根據數量來進行選擇

　　　　備份工具： 可以選擇mysql軟體自帶的命令mysqldump 或者 XBK工具

　　　　備份方式： 全備　　增量

　　1.2 檢查備份的可用性

　　　　　　crontab -l :檢查定時任務中是否有備份的指令碼

　　　　　　檢視備份日誌

　　　1.3 定期的恢復演練

　　　1.4 資料恢復

　　　　　　主要備份和日誌是完整的，恢復到故障之前的時間點(快速的)

　　　1.5 資料的遷移

　　　　　　mysql ----> mysql 其他------->mysql mysql ------>其他

2.備份的介紹

　　2.1 備份型別： 熱備 冷備 溫備

3. mysqldump(邏輯備份)

　基礎引數：
 　　 -A  # 備份全庫       >>mysqldump -uroot -p123 -A >/tmp/full.sql 
   
     -B  # 備份某個特定的庫       >>mysqldump -uroot -p123 -B  city(庫名)  wordpress(庫名)  >/tmp/db.sql

     庫名   表名  #備份某個庫中的某一個表    >>  mysqldump -uroot -p123 world(庫名)  test(表名) test1(表名)>/
 
backup/tab.sql

　特殊備份引數：
　　　-R   ：儲存過程和函式
　　　-E   ：事件
　　--trigger：觸發器
　　--master-data=2
　　　　功能：
　　　　　　　（1）記錄備份時刻的binlog資訊
　　　　　　　（2）自動鎖表
　　　　　　　　　　　　不加  --single-transaction   : 溫備份
　　　　　　　　　　　　加了  --singel-transaction   :對於innodb表不鎖表

擴充套件引數：

--set-gtid-purged=AUTO/ON (做主從複製時一定要用ON或AUTO)
--set-gtid-purged=OFF (僅是做普通的本機備份恢復時，可以新增)

--max_allowed_packet=128M #控制的是備份是傳輸資料包的大小

4. 案例(關於mysqldump)

　　場景：正在執行的網站系統，mysql-5.7.20資料庫，資料量50G,日業務增量1-5M，每天23:00,計劃任務呼叫mysqldump執行全備指令碼

　　模擬故障時間點：年底故障演練:模擬週三上午10點刪除資料庫，並進行恢復

　　恢復思路：

　　1.停業務，避免資料的二次傷害

　　2.找一個臨時庫，恢復週二23:00全備

　　3.擷取週二23:00 -- 週三10點誤刪除之間的binlog,恢復臨時庫

　　4.測試可用性和完整性

　 5.方式一： 直接使用臨時庫頂替原生產庫，前端應用割接到新庫

　　 方式二: 將誤刪除的表匯出，匯入到原生產庫中

　　模擬演練：　

1.準備資料
  create database backup;
  use backup;
  create table t1(id int);
  insert into t1 values(1),(2),(3)
  commit;
 

2.週二23:00全備
　　mysqldump -uroot -p123 -A -R --triggers --set-gtid-purged=OFF --master-data=2 --single-transaction|gzip > /backup/full_$(date+%F).sql.gz

3. 模擬週二23:00到週三10點之間資料變化

　　　　use backup;
　　　　insert into t1(11),(12),(13);
　　　　commit;
　　　　create table t2 (id int);
　　　　insert into t2 values(11),(22),(33);

4.刪庫(模擬)
　　drop  backup
5.利用gtid 恢復週二23:00到宕機時刻的資料
　　可以檢視命令： show binlog events in '當前正在使用的二進位制日誌'，從中找出需要的資料所對應的GTID號
　　備份命令： mysqlbinlog --skip-gtids --include-gtids='62b6a13b-19b2-11eb-a0b7-00163e2ce7ef:6-7' --exclude-gtids='9a85ae81-0d17-11eb-9975-00163e1430bc:6' mysql-bin.000005>/bakup/bin.sql
6開始恢復
　　set sql_log_bin=0
　　source  /backup/full_xxxx.sql
　　source  /bakup/bin.sql
　　set sql_log_bin=1

5. mysql之物理備份(Xtrabakup)

　　5.1 安裝　　

　　wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo     ###換源，用阿里源比較快一些
   yum -y install perl perl-devel libaio libaio-devel perl-Time-HiRes perl-DBD-MySQL libev   ###安裝需要的依賴庫
   
   wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.12/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm    ####這個是centos6版本下的XBK軟體

   https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm           ###這個是centos7版本下的XBK軟體

   yum -y install percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm  ###執行這個命令就開始安裝

　　5.2 使用說明：

　　　　1. Xtrabackup

　　　　2. innobackupex ******

　　　（1）對於非Innodb表（比如 myisam）是，鎖表cp資料檔案，屬於一種溫備份。

　　 （2）對於Innodb的表（支援事務的），不鎖表，拷貝資料頁，最終以資料檔案的方式儲存下來，把一部分redo和undo一併備走，屬於熱備方式。

　　　　工作原理：Xbk在innodb表備份恢復的流程　　　

  0、xbk備份執行的瞬間,立即觸發ckpt,已提交的資料髒頁,從記憶體刷寫到磁碟,並記錄此時的LSN號
  1、備份時，拷貝磁碟資料頁，並且記錄備份過程中產生的redo和undo一起拷貝走,也就是checkpoint LSN之後的日誌
  2、在恢復之前，模擬Innodb“自動故障恢復”的過程，將redo（前滾）與undo（回滾）進行應用
  3、恢復過程是cp 備份到原來資料目錄下

　　　　innobackupex使用　

[root@db01 backup]# innobackupex --user=root --password=123 --no-timestamp /data/backup/full  #####全備(備份整個資料庫)

　　　　備份後產生的檔案：　　

-rw-r----- 1 root root       24 Jun 29 09:59 xtrabackup_binlog_info
-rw-r----- 1 root root      119 Jun 29 09:59 xtrabackup_checkpoints
-rw-r----- 1 root root      489 Jun 29 09:59 xtrabackup_info
-rw-r----- 1 root root     2560 Jun 29 09:59 xtrabackup_logfile

xtrabackup_binlog_info ：（備份時刻的binlog位置）
[root@db01 full]# cat xtrabackup_binlog_info 
mysql-bin.000003    536749
79de40d3-5ff3-11e9-804a-000c2928f5dd:1-7
記錄的是備份時刻，binlog的檔名字和當時的結束的position，可以用來作為擷取binlog時的起點。

xtrabackup_checkpoints ：
backup_type = full-backuped
from_lsn = 0            上次所到達的LSN號(對於全備就是從0開始,對於增量有別的顯示方法)
to_lsn = 160683027      備份開始時間(ckpt)點資料頁的LSN    
last_lsn = 160683036    備份結束後，redo日誌最終的LSN
compact = 0
recover_binlog_info = 0
（1）備份時刻，立即將已經commit過的，記憶體中的資料頁重新整理到磁碟(CKPT).開始備份資料，資料檔案的LSN會停留在to_lsn位置。
（2）備份時刻有可能會有其他的資料寫入，已備走的資料檔案就不會再發生變化了。
（3）在備份過程中，備份軟體會一直監控著redo的undo，如果一旦有變化會將日誌也一併備走，並記錄LSN到last_lsn。
從to_lsn  ----》last_lsn 就是，備份過程中產生的資料變化.

　　5.3 全備的恢復：

　　　　準備備份(Perpared)

　　　　　　###將redo進行重做，已經提交的寫到資料檔案，未提交的使用undo回滾掉，模擬了CSR過程

　　　　　　　　innobackupex --apply-log /backup/full

　　　　恢復備份：

　　　　　　前提：

　　　　　　　　1.被恢復的目錄是空的

　　　　　　　　2.被恢復的資料庫的例項是關閉的 systemctl stop mysqld

　　　　步驟：

　　　　　　　　1.建立一個新的目錄並授權

　　　　　　　　　　　　mkdir /data/mysql1

　　　　　　　　　　　　chown -R mysql.mysql /data/mysql1

　　　　　　　　2. 恢復備份

　　　　　　　　　　　　cp -a /bakup/full/* /data/mysql1/

　　　　　　　　3. 啟動一下資料　　　　　　　　　

vim /etc/my.cnf
datadir=/data/mysql1
[root@db01 mysql1]# chown -R mysql.mysql /data/mysql1
systemctl start mysqld

　　　5.4 innobackupex 增量備份　　

（1）增量備份的方式，是基於上一次備份進行增量。
（2）增量備份無法單獨恢復。必須基於全備進行恢復。
（3）所有增量必須要按順序合併到全備中。

　　 過程：

（1）刪掉原來備份
略.
（2）全備（週日）
[root@db01 backup]# innobackupex --defaults-file=/data/3307/mysql.sock  --user=root --password=123 --no-timestamp /backup/full >&/tmp/xbk_full.log
（3）模擬週一資料變化
db01 [(none)]>create database cs charset utf8;
db01 [(none)]>use cs
db01 [cs]>create table t1 (id int);
db01 [cs]>insert into t1 values(1),(2),(3);
db01 [cs]>commit;

（4）第一次增量備份（週一）
innobackupex --defaults-file=/data/3307/mysql.sock  --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/full  /backup/inc1 &>/tmp/inc1.log
（5）模擬週二資料
db01 [cs]>create table t2 (id int);
db01 [cs]>insert into t2 values(1),(2),(3);
db01 [cs]>commit;
（6）週二增量
 innobackupex  --defaults-files=/data/3307/mysql.sock --user=root --password=123 --no-timestamp --incremental --incremental-basedir=/backup/inc1  /backup/inc2  &>/tmp/inc2.log
（7）模擬週三資料變化
db01 [cs]>create table t3 (id int);
db01 [cs]>insert into t3 values(1),(2),(3);
db01 [cs]>commit;
db01 [cs]>drop database cs;

恢復：　

恢復思路：
1.  掛出維護頁，停止當天的自動備份指令碼
2.  檢查備份：週日full+週一inc1+週二inc2，週三的完整二進位制日誌
3. 進行備份整理（細節），擷取關鍵的二進位制日誌（從備份——誤刪除之前）
4. 測試庫進行備份恢復及日誌恢復
5. 應用進行測試無誤，開啟業務
6. 此次工作的總結

恢復過程：

1. 檢查備份
1afe8136-601d-11e9-9022-000c2928f5dd:7-9
2. 備份整理（apply-log）+合併備份（full+inc1+inc2）
(1) 全備的整理
[root@db01 one]# innobackupex --apply-log --redo-only /data/backup/full
(2) 合併inc1到full中
[root@db01 one]# innobackupex --apply-log --redo-only --incremental-dir=/data/backup/inc1 /data/backup/full
(3) 合併inc2到full中
[root@db01 one]# innobackupex --apply-log  --incremental-dir=/data/backup/inc2 /data/backup/full
(4) 最後一次整理全備
[root@db01 backup]#  innobackupex --apply-log  /data/backup/full
3. 擷取週二 23:00 到drop 之前的 binlog 
[root@db01 inc2]# mysqlbinlog --skip-gtids --include-gtids='1afe8136-601d-11e9-9022-000c2928f5dd:7-9' /data/binlog/mysql-bin.000009 >/data/backup/binlog.sql
4. 進行恢復
[root@db01 backup]# mkdir /data/mysql/data2 -p
[root@db01 full]# cp -a * /data/mysql/data2
[root@db01 backup]# chown -R mysql.  /data/*
[root@db01 backup]# systemctl stop mysqld
vim /etc/my.cnf
datadir=/data/mysql/data2
systemctl start mysqld
Master [(none)]>set sql_log_bin=0;
Master [(none)]>source /data/backup/binlog.sql

　補充一下：

思考:在之前的專案案例中,如果誤刪除的表只有10M,而備份有500G,該如何快速恢復誤刪除表?
提示：
drop table city;
create table city like city_bak;
alter table city discard tablespace;
cp /backup/full/world/city.ibd  /application/mysql/data/world/
chown -R mysql.mysql  /application/mysql/data/world/city.ibd 
alter table city import  tablespace;

2.從mysqldump全備中獲取庫和表的備份

1、獲得表結構
# sed -e'/./{H;$!d;}' -e 'x;/CREATE TABLE `city`/!d;q'  full.sql>createtable.sql

2、獲得INSERT INTO 語句，用於資料的恢復

# grep -i 'INSERT INTO `city`'  full.sqll >data.sql &

3.獲取單庫的備份

# sed -n '/^-- Current Database: `world`/,/^-- Current Database: `/p' all.sql >world.sql