1. 程式人生 > >Mysql閃回工具之binlog2sql的原理及其使用

Mysql閃回工具之binlog2sql的原理及其使用

生產上誤刪資料、誤改資料的現象也是時常發生的現象,作為 DBA 這時候就需要出來補鍋了,最開始的做法是恢復備份,然後從中找到需要的資料再進行修復,但是這個時間太長了,對於大表少數資料的修復來講,動作太大,成本也大。

當然還有其他的一些操作方法,我們今天有主角。

MySQL 閃回工具 --   binlog2sql

用途

  • 資料回滾
  • 主從切換後資料不一致的修復
  • 從 binlog 生成標準 SQL,帶來的衍生功能

閃回原理簡析

開始之前,先說說閃回。我們都知道 MySQL binlog 以 event 為單位,記錄資料庫的變更資訊,這些資訊能夠幫助我們重現這之間的所有變化,也就是所謂的閃回。

binlog 有三種可選的格式:

  • statement:基於 SQL 語句的模式,binlog 資料量小,但是某些語句和函式在複製過程可能導致資料不一致甚至出錯;
  • mixed:混合模式,根據語句來選用是 statement 還是 row 模式;
  • row:基於行的模式,記錄的是行的完整變化。安全,但 binlog 會比其他兩種模式大很多;

利用 binlog 做閃回,需要將 binlog 格式設定為 row,因為我們需要最詳盡的資訊來確定操作之後資料不會出錯。

既然 binlog 以 event 形式記錄了所有的變更資訊,那麼我們把需要回滾的 event,從後往前回滾回去即可。

回滾操作:

  • 對於 delete 操作,我們從 binlog 提取出 delete 資訊,反向生成 insert 回滾語句;
  • 對於 insert 操作,反向生成 delete 回滾語句;
  • 對於 update 操作,根據資訊生成反向的 update 語句;

 

竟然這麼厲害??

 

來例項演習下

主要測試 DML,也就是 delete、update、insert 等操作的閃回效果。

本次實驗,更改一條資料,並刪除一條資料,然後從解析 binlog 資訊,到使用 binlog2sql 工具來生成標準和回滾 SQL,來剖析整個執行過程。

一、準備工作

1.確定版本資訊和binlog格式

  mysql版本:5.7.12

檢視binlog格式的命令

mysql> show variables like 'binlog_format';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW |
+---------------+-------+

2.安裝binlog2sql工具     #(隨便安裝在合適的伺服器即可,比如我在內網15安裝了一個)

   安裝參考連結:http://note.youdao.com/noteshare?id=85a90269a21d877962bfce0dfa40a90b&sub=71CD3E637F534AA1AFF129563F6A064E

3.在mysql的主伺服器上,建立閃回操作賬號的許可權 

mysql>   GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'glon'@'%'  identified by '123456';

mysql> show grants for 'glon'@'%';
+--------------------------------------------------------------------------+
| Grants for [email protected]% |
+--------------------------------------------------------------------------+
| GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'glon'@'%' |
+--------------------------------------------------------------------------+
1 row in set (0.00 sec)

4.初始化資料    

CREATE TABLE `edai_binlog2sql` (

`id` int(11) NOT NULL AUTO_INCREMENT,
`name` varchar(20) NOT NULL,
`create_time` datetime NOT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8

 

insert into edai_binlog2sql (name,create_time) values ('Glon Ho','2012-10-1'),('Eason Chan', '2016-05-02'),('Jacky Cheung', '2015-05-02');

 

mysql> select * from edai_binlog2sql;
+----+--------------+---------------------+
| id | name | create_time |
+----+--------------+---------------------+
| 4 | Glon Ho | 2012-10-01 00:00:00 |
| 5 | Eason Chan | 2016-05-02 00:00:00 |
| 6 | Jacky Cheung | 2015-05-02 00:00:00 |
+----+--------------+---------------------+
3 rows in set (0.00 sec)

 

  • 進行 update 和 delete 操作

mysql> update edai_binlog2sql set create_time = '2017-05-12' where name = 'Glon Ho';
Query OK, 1 row affected (0.05 sec)
Rows matched: 1 Changed: 1 Warnings: 0

mysql> select * from edai_binlog2sql;
+----+--------------+---------------------+
| id | name | create_time |
+----+--------------+---------------------+
| 4 | Glon Ho | 2017-05-12 00:00:00 |
| 5 | Eason Chan | 2016-05-02 00:00:00 |
| 6 | Jacky Cheung | 2015-05-02 00:00:00 |
+----+--------------+---------------------+
3 rows in set (0.00 sec)

mysql> delete from edai_binlog2sql where name = 'Jacky Cheung';
Query OK, 1 row affected (0.09 sec)

mysql> select * from edai_binlog2sql;
+----+------------+---------------------+
| id | name | create_time |
+----+------------+---------------------+
| 4 | Glon Ho | 2017-05-12 00:00:00 |
| 5 | Eason Chan | 2016-05-02 00:00:00 |
+----+------------+---------------------+
2 rows in set (0.00 sec)

 

操作時候,Glon Ho 的時間改變了,而 Jacky Cheung 也被刪除了。

 

mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000001 | 6159854 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

 

 

好的,接下來使用binlog2sql工具

1)解析出標準的SQL

python binlog2sql.py -h192.168.1.21 -P30136 -uglon -p'123456' -d xcrm -t edai_binlog2sql  --start-file=mysql-bin.000001 > edai_binlog2sql.sql

cat edai_binlog2sql.sql

可以看到,幾乎完美重現了我們上面執行過的 SQL,而且生成的每個 SQL 後面都帶有該語句在 binlog 中的 position 資訊和該語句的執行時間

2)解析想要回滾的SQL

比如,我想回滾剛剛操作的,edai_binlog2sql 後面兩個update和DELETE操作

時間節點就是:start 6159262   end 6159823    #分析最好用pos分析,這個可以更準確的定位到想要的

 python binlog2sql.py  --flashback  -h192.168.1.21 -P30136 -uglon -p'123456' -dxcrm -tedai_binlog2sql --start-file=mysql-bin.000001 --start-position=6159262    --stop-pos=6159823 > edai_binlog2sql-new.sql 

[[email protected] binlog2sql]# cat edai_binlog2sql-new.sql 
INSERT INTO `xcrm`.`edai_binlog2sql`(`create_time`, `id`, `name`) VALUES ('2015-05-02 00:00:00', 6, 'Jacky Cheung'); #start 6159565 end 6159823 time 2018-11-22 15:16:30
UPDATE `xcrm`.`edai_binlog2sql` SET `create_time`='2012-10-01 00:00:00', `id`=4, `name`='Glon Ho' WHERE `create_time`='2017-05-12 00:00:00' AND `id`=4 AND `name`='Glon Ho' LIMIT 1; #start 6159262 end 6159534 time 2018-11-22 15:15:46

可以看到,我們剛剛的delete語句,被反轉為insert語句,update 修改為原來的時間

拿到了具體的恢復語句

那我們拿去資料庫執行吧