1. 程式人生 > >使用mysql的binlog恢復誤操作(update|delete)的資料

使用mysql的binlog恢復誤操作(update|delete)的資料

binlog格式介紹

  • MYSQL binlog複製主要有三種方式:基於SQL語句的複製(statement-based replication, SBR),基於行的複製(row-based replication, RBR),混合模式複製(mixed-based replication, MBR)。對應的,binlog的格式也有三種:STATEMENT,ROW,MIXED。

    STATEMENT模式(SBR)

    每一條會修改資料的sql語句會記錄到binlog中。優點是並不需要記錄每一條sql語句和每一行的資料變化,減少了binlog日誌量,節約IO,提高效能。缺點是在某些情況下會導致master-slave中的資料不一致(如sleep()函式, last_insert_id(),以及user-defined functions(udf)等會出現問題)

    ROW模式(RBR)

    不記錄每條sql語句的上下文資訊,僅需記錄哪條資料被修改了,修改成什麼樣了。而且不會出現某些特定情況下的儲存過程、或function、或trigger的呼叫和觸發無法被正確複製的問題。缺點是會產生大量的日誌,尤其是alter table的時候會讓日誌暴漲。

    MIXED模式(MBR)

    以上兩種模式的混合使用,一般的複製使用STATEMENT模式儲存binlog,對於STATEMENT模式無法複製的操作使用ROW模式儲存binlog,MySQL會根據執行的SQL語句選擇日誌儲存方式。

binlog複製配置

① 在mysql的配置檔案my.cnf中,可以通過一下選項配置binglog相關


    binlog_format   = ROW //binlog日誌格式,預設為STATEMENT
    log-bin = /data/mysql/mysql-bin.log//binlog日誌檔案
    expire_logs_days= 7   //binlog過期清理時間
    max_binlog_size = 100m   //binlog每個日誌檔案大小
    binlog_cache_size   = 4m//binlog快取大小
    max_binlog_cache_size   = 512m //最大binlog快取大小


②通過mysql語句查詢 binlog格式

    mysql> show VARIABLES like 'binlog_format'; // 查詢當前mysql的binlog格式
    mysql> show VARIABLES like 'datadir';       // 查詢資料庫binlog和庫,表的目錄 /var/mysql/data/

③ 檢視是否開啟binlog
```

mysql> show VARIABLES like ‘binlog_format’; // 查詢當前mysql的binlog是否開啟
“`

如何通過binlog恢復誤操作的資料

  • 步驟一:場景準備

    ① 建立測試用的資料表

    mysql> create table t1 (
        -> id int unsigned not null auto_increment,
        -> name char(20) not null,
        -> sex enum('f','m') not null default 'm',
        -> address varchar(30) not null,
        -> primary key(id)
        -> );
        Query OK, 0 rows affected (0.31 sec)
    mysql>
    

    ② 插入測試資料

    mysql> insert into t1 (name,sex,address)values('daiiy','m','guangzhou');
        Query OK, 1 row affected (0.01 sec)
    
    mysql> insert into t1 (name,sex,address)values('tom','f','shanghai');   
        Query OK, 1 row affected (0.00 sec)
    

    刪除資料

    mysql> delete from t1;
    Query OK, 2 rows affected (0.03 sec)
    
  • 步驟二: 查詢當前mysql的binlog檔案

    ① 查詢mysql所有的binlog檔案

    mysql>  show master logs;  // 該結果返回的即為mysql記錄的所有binlog檔案
    
    Log_name File_size
    mysql81-bin.000112 1654366
    mysql81-bin.000113 100131397

    ② 查詢當前mysql已經記錄到哪個binlog子檔案中

    mysql> show master status;  // 該結果返回的即為當前mysql的操作所記錄的binlog子檔案
    
    File Position Binlog_Do_DBBinlog_Ignore_DBExecuted_Gtid_Set
    mysql81-bin.000113 100131397 8df3aac9-262a-11e5
  • 步驟三: 通過binlog檔案恢復被刪除的資料

    ①:在mysql的安裝bin目錄下(cd /usr/local/mysql/bin)找到mysqlbinlog命令執行檔案

    ②:找到當前mysql的binlog檔案(通過上面show master status命令可以知道最新的binlog檔案為mysql81-bin.000113): /var/mysql/data/mysql81-bin.000113

    ③:在usr/local/mysql/bin目錄下:在mysql81-bin.000113檔案中查詢”刪除”操作記錄

    :/usr/local/mysql/bin>$ ./mysqlbinlog --no-defaults --base64-output=decode-rows -v -v /var/mysql/data/mysql81-bin.000113 | grep -B 15 -A 15 'DELETE FROM'
    

    ④:拷貝mysql81-bin.000113檔案中的刪除記錄到指定檔案中/var/mysql/data/delete.txt:

    :/usr/local/mysql/bin>$./mysqlbinlog --no-defaults --base64-output=decode-rows -v -v /var/mysql/data/mysql81-bin.000113| sed -n '/### DELETE FROM 'pluto_core
    _1'.'t1’/,/COMMIT/p' > /var/mysql/data/delete.txt

    注意:
    1) 庫名|表名需要被 “括起來,格式必需與第③步查找出來的格式一致
    2) 指定/var/mysql/data/目錄許可權必需是可寫的 (sudo chmod 755 data)

    ⑤:開啟/var/mysql/data/delete.txt檔案,這時應該可以看到該檔案中已經有之前的刪除操作記錄了

    //delete.txt檔案
    ### DELETE FROM `pluto_core_1`.`t1`
    ### WHERE
    ###   @1=9 /* INT meta=0 nullable=0 is_null=0 */
    ###   @2='daiiy' /* STRING(60) meta=65084 nullable=0 is_null=0 */
    ###   @3=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
    ###   @4='guangzhou' /* VARSTRING(90) meta=90 nullable=0 is_null=0 */
    ### DELETE FROM `pluto_core_1`.`t1`
    ### WHERE
    ###   @1=10 /* INT meta=0 nullable=0 is_null=0 */
    ###   @2='呵呵' /* STRING(60) meta=65084 nullable=0 is_null=0 */
    ###   @3=2 /* ENUM(1 byte) meta=63233 nullable=0 is_null=0 */
    ###   @4='上海' /* VARSTRING(90) meta=90 nullable=0 is_null=0 */
    # at 10958544
    #170908 14:59:23 server id 181  end_log_pos 10958575 CRC32 0x5c83521d   Xid = 221304
    COMMIT/*!*/;
    

    ⑥: 將delete.txt中的記錄轉換為SQL語句

    cat delete.txt | sed -n '/###/p' | sed 's/### //g;s/\/\*.*/,/g;s/DELETE FROM/INSERT INTO/g;s/WHERE/SELECT/g;' | sed -r 's/(@4.*),/\1;/g' | sed 's/@[1-9]=//g' > source.sql

    // source.sql檔案
    INSERT INTO `pluto_core_1`.`t1`
    SELECT
     9 ,
     'daiiy' ,
    2 ,
    'guangzhou' ;
    INSERT INTO `pluto_core_1`.`t1`
    SELECT
     10 ,
    '呵呵' ,
    2 ,
     '上海' ;
    

    ⑦: 在source.sql檔案所在目錄下登入mysql匯入source.sql

    `:/var/mysql/data>$mysql -h99.48.xxx.xxx -P3306 -uaaa -pbbbbb
    mysql>source source.sql
    

    ⑧: 檢視資料庫pluto_core_1.t1,檢視已刪除的資料是否已經恢復了

  • 步驟四: 通過binlog檔案恢復被更新的資料

    ①:在usr/local/mysql/bin目錄下:在mysql81-bin.000113檔案中查詢”更新”操作記錄

    :/usr/local/mysql/bin>$ ./mysqlbinlog --no-defaults --base64-output=decode-rows -v -v /var/mysql/data/mysql81-bin.000113 |  grep -B 15 'zhuhai'
    

    ②: 拷貝mysql81-bin.000113檔案中的刪除記錄到指定檔案中/var/mysql/data/delete.txt:

    :/usr/local/mysql/bin>$./mysqlbinlog --no-defaults --base64-output=decode-rows -v -v /var/mysql/data/mysql81-bin.000113| sed -n '/# at 1679/,/COMMIT/p' > /var/mysql/data/delete.txt

    ③:將delete.txt中的記錄轉換為SQL語句

    sed '/WHERE/{:a;N;/SET/!ba;s/\([^\n]*\)\n\(.*\)\n\(.*\)/\3\n\2\n\1/}' t1.txt | sed -r '/WHERE/{:a;N;/@4/!ba;s/### @2.*//g}' | sed 's/### //g;s/\/\*.*/,/g' | sed '/WHERE/{:a;N;/@1/!ba;s/,/;/g};s/#.*//g;s/COMMIT,//g' | sed '/^$/d' > recover.sql