mysql如何利用binlog進行資料恢復詳解
前言
最近線上誤操作了一個數據，由於是直接修改的資料庫，所有唯一的恢復方式就在mysql的binlog。binlog使用的是ROW模式，即受影響的每條記錄都會生成一個sql。同時利用了binlog2sql專案。
MySQL Binary Log也就是常說的bin-log,是mysql執行改動產生的二進位制日誌檔案,其主要作用有兩個:
* 資料回覆
* 主從資料庫。用於slave端執行增刪改，保持與master同步。
binlog基本配置和格式
binlog基本配置
binlog需要在mysql的配置檔案的mysqld節點中進行配置：
# 日誌中的Serverid server-id = 1 # 日誌路徑 log_bin = /var/log/mysql/mysql-bin.log # 儲存幾天的日誌 expire_logs_days = 10 # 每個binlog的大小 max_binlog_size = 1000M #binlgo模式 binlog_format=ROW # 預設是所有記錄，可以配置哪些需要記錄，哪些不記錄 #binlog_do_db = include_database_name #binlog_ignore_db = include_database_name
檢視binlog狀態
- SHOW BINARY LOGS; 檢視binlog檔案
- SHOW VARIABLES LIKE '%log_bin%' 檢視日誌狀態
- SHOW MASTER STATUS 檢視日誌檔案位置
binlog的三種格式
1.ROW
針對行記錄日誌，每行修改產生一條記錄。
優點：上下文資訊比較全，恢復某條誤操作時可以直接在日誌中查詢到原文資訊，對於主從複製支援好。
缺點：輸出非常大，如果是Alter語句將產生大量的記錄
格式如下：
DELETE FROM `back`.`sys_user` WHERE `deptid`=27 AND `status`=1 AND `account`='admin' AND `name`='張三' AND `phone`='18200000000' AND `roleid`='1' AND `createtime`='2016-01-29 08:49:53' AND `sex`=2 AND `email`='[email protected]' AND `birthday`='2017-05-05 00:00:00' AND `avatar`='girl.gif' AND `version`=25 AND `password`='ecfadcde9305f8891bcfe5a1e28c253e' AND `salt`='8pgby' AND `id`=1 LIMIT 1; #start 4 end 796 time 2018-10-12 17:03:19
2.STATEMENT
針對sql語句的，每條語句產生一條記錄
優點：產生的日誌量比較小，主從版本可以不一致
缺點：主從有些語句不能支援，像自增主鍵和UUID這種型別的
格式如下：
delete from `sys_role`;
3.MIX
結合了兩種的優點，一般情況下都採用STATEMENT模式，對於不支援的語句採用ROW模式
轉換成sql
mysql自帶的mysqlbinlog
由於binlog是二進位制的，所以需要先轉換成文字檔案，一般可以採用Mysql自帶的mysqlbinlog轉換成文字。
mysqlbinlog --no-defaults --base64-output='decode-rows' -d room -v mysql-bin.011012 > /root/binlog_2018-10-10
引數說明
- --no-defaults 為了防止報錯：
mysqlbinlog: unknown variable 'default_character_set=utf8mb4' - --base64-output='decode-rows' 和-v一起使用， 進行base64解碼
其他有很多用來限定範圍的引數，比如資料庫，起始時間，起始位置等等。這些引數在查詢誤操作的時候非常有用。
binlog的基本塊如下：
# at 417750 #181007 1:50:38 server id 1630000 end_log_pos 417844 CRC32 0x9fc3e3cd Query thread_id=440109962 exec_time=0 error_code=0 SET TIMESTAMP=1538877038/*!*/; BEGIN
1、# at 417750
指明的當前位置相對檔案開始的偏移位置，這個在mysqlbinlog命令中可以作為--start-position的引數
2、#181007 1:50:38 server id 1630000 end_log_pos 417844 CRC32 0x9fc3e3cd Query thread_id=440109962 exec_time=0 error_code=0
181007 1:50:38指明時間為18年10月7號1:50:38，serverid也就是你在配置檔案中的配置的，end_log_pos 417844，這個塊在417844結束。thread_id執行的執行緒id，exec_time執行時間，error_code錯誤碼
3、SET TIMESTAMP=1538877038/!/;
BEGIN
具體的執行語句
一行記錄產生的日誌如下所示
# at 417750
#181010 9:50:38 server id 1630000 end_log_pos 417844 CRC32 0x9fc3e3cd Query thread_id=440109962 exec_time=0 error_code=0
SET TIMESTAMP=1539136238/*!*/;
BEGIN
/*!*/;
# at 417844
#181010 9:50:38 server id 1630000 end_log_pos 417930 CRC32 0xce36551b Table_map: `goods`.`good_info` mapped to number 129411
# at 417930
#181010 9:50:38 server id 1630000 end_log_pos 418030 CRC32 0x5827674a Update_rows: table id 129411 flags: STMT_END_F
### UPDATE `goods`.`good_info`
### WHERE
### @1='2018:10:07' /* DATE meta=0 nullable=0 is_null=0 */
### @2=9033404 /* INT meta=0 nullable=0 is_null=0 */
### @3=1 /* INT meta=0 nullable=0 is_null=0 */
### @4=8691108 /* INT meta=0 nullable=0 is_null=0 */
### @5=9033404 /* INT meta=0 nullable=0 is_null=0 */
### @6=20 /* LONGINT meta=0 nullable=0 is_null=0 */
### @7=1538877024 /* TIMESTAMP(0) meta=0 nullable=0 is_null=0 */
### SET
### @1='2018:10:07' /* DATE meta=0 nullable=0 is_null=0 */
### @2=9033404 /* INT meta=0 nullable=0 is_null=0 */
### @3=1 /* INT meta=0 nullable=0 is_null=0 */
### @4=8691108 /* INT meta=0 nullable=0 is_null=0 */
### @5=9033404 /* INT meta=0 nullable=0 is_null=0 */
### @6=21 /* LONGINT meta=0 nullable=0 is_null=0 */
### @7=1538877024 /* TIMESTAMP(0) meta=0 nullable=0 is_null=0 */
# at 418030
#181010 9:50:38 server id 1630000 end_log_pos 418061 CRC32 0x468fb30e Xid = 212760460521
COMMIT/*!*/;
# at 418061
一行記錄產生的日誌如上所示。以SET TIMESTAMP=1539136238/*!*/;開始，以COMMIT/*!*/;結尾。我們可以根據兩個at指明的位置來限定範圍。
注意一條記錄開始的SET TIMESTAMP之前的# at 417750和結尾的COMMIT之後的# at 418061
利用binlog2sql
binlog2sql官網介紹：從MySQL binlog解析出你要的SQL。根據不同選項，你可以得到原始SQL、回滾SQL、去除主鍵的INSERT SQL等。
基本使用如下：
python binlog2sql.py -hlocalhost -P3306 -udev -p'\*' -d room -t room_info --start-file='mysql-bin.011012' --start-position 129886892 --stop-position 130917280 > rollback.sql
具體的使用我就不講解了github上講解的十分清楚，主要看下很多用來篩選的條件，比如起止時間--start-datetime/--stop-datetime，表名限定-t，資料庫限定-d，語句限定--sql-type，主要說說我遇到的一些問題。
mysql的binlog模式
這裡需要設定為ROW，因為ROW模式有原來的資訊，如果可以直接利用binlog2sql反向生成回滾sql，如果是STATEMENT無法生成，需要利用的mysql定時備份的檔案再去做回滾
恢復資料的具體操作
因為當時線上執行的是一條update語句，沒有唯一鍵索引的。導致有兩千多條記錄被更新。語句如下：
update room_info set status=1 where status=2;
- 根據操作時間先定位對應的binlog檔案
我記得當時操作的時間大概的是上午9多左右，所以去找對應的binlog檔案最後修改時間大於9點並且時間最接近的一個檔案。使用linux的ll命令檢視檔案的修改時間。 - 篩選具體的資料庫
因為一個mysql例項的所有binlog檔案是在一個檔案中的，所以我們先要去除其他不想關的資料庫。利用-d引數來指明資料例項。然後在利用開始時間(--start-datetime)和結束時間(--stop-datetime)來進一步篩選
mysqlbinlog --no-defaults -v --base64-output='decode-rows' -d room --start-datetime='2018-10-10 9:00:00' --stop-datetime='2018-10-10 10:00:00' mysql-bin.011012>temp.sql
- 壓縮取回檔案分析
zip temp.zip temp.sql && sz temp.zip
取回檔案在本地用文字工具如vscode分析，裡面有正則匹配，根據你改動過的特徵，比如我有個房間號888888，這個不應該被修改，你就檢視這個房間號的修改記錄，ROW模式的語句是Where在前，set在後。利用正則room_id=888888.*show_state=1.*AND show_state=2很快就能匹配到。我當時的語句影響了兩千多條記錄，你根據找到的語句去找開始的SET TIMESTAMP=1539136238的位置之前的at和結尾的COMMIT之後的at。
- 利用binlog2sql生成回滾語句
python binlog2sql.py -hlocalhost -P3306 -udev -p'*' -d room -t room_info -B --start-file='mysql-bin.011012' --start-position 129886892 --stop-position 130917280 > rollback.sql
另外
因為我這邊是一條update影響多條的情況，如果是帶唯一鍵的情況下，影響的只有一條記錄，完全沒必要這麼麻煩，直接利用binlog2sql帶上-d和-t引數限定資料庫和表，然後利用grep來查詢，直接可以得出對應的sql。mysqlbinlog少了一個限定表和限定語句的功能。比如精確到一張表的Delete語句，能減少很多的資料，能快速定位。
總結
以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，如果有疑問大家可以留言交流，謝謝大家對我們的支援。