2. 程式人生 > >淺析MySQL基於ROW格式的二進位制日誌

淺析MySQL基於ROW格式的二進位制日誌

阿新 • • 發佈：2019-02-19

上文分析的二進位制日誌實際上是基於STATEMENT格式的，下面我們來看看基於ROW格式的二進位制日誌，畢竟，兩者對應的binlog事件型別也不一樣，同時，很多童鞋反映基於ROW格式的二進位制日誌無法查到原生的DML語句，關於這個問題，其實官方也給出瞭解決方案，下面，將一一揭曉。

首先，來幾條測試資料

mysql> set binlog_format=row;

Query OK, 0 rows affected (0.00 sec)

mysql> flush logs;

Query OK, 0 rows affected (0.01 sec)

mysql> insert

 into test.t1 values(1,'a');

Query OK, 1 row affected (0.00 sec)

mysql> use testDatabase changed

mysql> insert into t1 values(2,'b');

Query OK, 1 row affected (0.00 sec)

mysql> update t1 set name='c' where id=2;

Query OK, 1 row affected (0.00 sec)

Rows matched: 1  Changed: 1  Warnings: 0

mysql

> delete from t1 where id=1;

Query OK, 1 row affected (0.01 sec)

首先通過SHOW BINLOG EVENTS檢視二進位制日誌中的內容

mysql> show binlog events in 'mysql-bin.000025';

+------------------+-----+-------------+-----------+-------------+---------------------------------------+| Log_name         | Pos | Event_type  

| Server_id | End_log_pos | Info                                  |+------------------+-----+-------------+-----------+-------------+---------------------------------------+| mysql-bin.000025 |   4 | Format_desc |         1 |         120 | Server ver: 5.6.31-log, Binlog ver: 4 || mysql-bin.000025 | 120 | Query       |         1 |         188 | BEGIN                                 || mysql-bin.000025 | 188 | Table_map   |         1 |         236 | table_id: 79 (test.t1)                || mysql-bin.000025 | 236 | Write_rows  |         1 |         278 | table_id: 79 flags: STMT_END_F        || mysql-bin.000025 | 278 | Xid         |         1 |         309 | COMMIT /* xid=175 */                  || mysql-bin.000025 | 309 | Query       |         1 |         381 | BEGIN                                 || mysql-bin.000025 | 381 | Table_map   |         1 |         429 | table_id: 79 (test.t1)                || mysql-bin.000025 | 429 | Write_rows  |         1 |         471 | table_id: 79 flags: STMT_END_F        || mysql-bin.000025 | 471 | Xid         |         1 |         502 | COMMIT /* xid=183 */                  || mysql-bin.000025 | 502 | Query       |         1 |         574 | BEGIN                                 || mysql-bin.000025 | 574 | Table_map   |         1 |         622 | table_id: 79 (test.t1)                || mysql-bin.000025 | 622 | Update_rows |         1 |         672 | table_id: 79 flags: STMT_END_F        || mysql-bin.000025 | 672 | Xid         |         1 |         703 | COMMIT /* xid=184 */                  || mysql-bin.000025 | 703 | Query       |         1 |         775 | BEGIN                                 || mysql-bin.000025 | 775 | Table_map   |         1 |         823 | table_id: 79 (test.t1)                || mysql-bin.000025 | 823 | Delete_rows |         1 |         865 | table_id: 79 flags: STMT_END_F        || mysql-bin.000025 | 865 | Xid         |         1 |         896 | COMMIT /* xid=185 */                  |+------------------+-----+-------------+-----------+-------------+---------------------------------------+17 rows in set (0.00 sec)

再來通過mysqlbinlog檢視

# mysqlbinlog mysql-bin.000025

/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;/*!40019 SET @@session.max_insert_delayed_threads=0*/;/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;

DELIMITER /*!*/;

# at 4

#160817 10:20:16 server id 1  end_log_pos 120 CRC32 0x5b15ac4f     Start: binlog v 4, server v 5.6.31-log created 160817 10:20:16

# Warning: this binlog is either in use or was not closed properly.

BINLOG '4MmzVw8BAAAAdAAAAHgAAAABAAQANS42LjMxLWxvZwAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA

AAAAAAAAAAAAAAAAAAAAAAAAEzgNAAgAEgAEBAQEEgAAXAAEGggAAAAICAgCAAAACgoKGRkAAU+s

FVs='/*!*/;

# at 120

#160817 10:20:22 server id 1  end_log_pos 188 CRC32 0x005847f0     Query    thread_id=12    exec_time=0    error_code=0

SET TIMESTAMP=1471400422/*!*/;

SET @@session.pseudo_thread_id=12/*!*/;

SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;

SET @@session.sql_mode=1075838976/*!*/;

SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;/*!\C utf8 *//*!*/;

SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=33/*!*/;

SET @@session.lc_time_names=0/*!*/;

SET @@session.collation_database=DEFAULT/*!*/;

BEGIN/*!*/;

# at 188

#160817 10:20:22 server id 1  end_log_pos 236 CRC32 0x2b8d2069     Table_map: `test`.`t1` mapped to number 79

# at 236

#160817 10:20:22 server id 1  end_log_pos 278 CRC32 0xadc98fbc     Write_rows: table id 79 flags: STMT_END_F

BINLOG '5smzVxMBAAAAMAAAAOwAAAAAAE8AAAAAAAEABHRlc3QAAnQxAAIDDwIeAANpII0r

5smzVx4BAAAAKgAAABYBAAAAAE8AAAAAAAEAAgAC//wBAAAAAWG8j8mt'/*!*/;

# at 278

#160817 10:20:22 server id 1  end_log_pos 309 CRC32 0x552dc682     Xid = 175

COMMIT/*!*/;

# at 309

#160817 10:20:34 server id 1  end_log_pos 381 CRC32 0x17d8173e     Query    thread_id=12    exec_time=0    error_code=0

SET TIMESTAMP=1471400434/*!*/;

BEGIN/*!*/;

# at 381

#160817 10:20:34 server id 1  end_log_pos 429 CRC32 0x71a27e19     Table_map: `test`.`t1` mapped to number 79

# at 429

#160817 10:20:34 server id 1  end_log_pos 471 CRC32 0xefda98ca     Write_rows: table id 79 flags: STMT_END_F

BINLOG '8smzVxMBAAAAMAAAAK0BAAAAAE8AAAAAAAEABHRlc3QAAnQxAAIDDwIeAAMZfqJx

8smzVx4BAAAAKgAAANcBAAAAAE8AAAAAAAEAAgAC//wCAAAAAWLKmNrv'/*!*/;

# at 471

#160817 10:20:34 server id 1  end_log_pos 502 CRC32 0x7bed11c4     Xid = 183

COMMIT/*!*/;

# at 502

#160817 10:20:38 server id 1  end_log_pos 574 CRC32 0xd164b750     Query    thread_id=12    exec_time=0    error_code=0

SET TIMESTAMP=1471400438/*!*/;

BEGIN/*!*/;

# at 574

#160817 10:20:38 server id 1  end_log_pos 622 CRC32 0x9fa3cabc     Table_map: `test`.`t1` mapped to number 79

# at 622

#160817 10:20:38 server id 1  end_log_pos 672 CRC32 0xb1646398     Update_rows: table id 79 flags: STMT_END_F

BINLOG '9smzVxMBAAAAMAAAAG4CAAAAAE8AAAAAAAEABHRlc3QAAnQxAAIDDwIeAAO8yqOf

9smzVx8BAAAAMgAAAKACAAAAAE8AAAAAAAEAAgAC///8AgAAAAFi/AIAAAABY5hjZLE='/*!*/;

# at 672

#160817 10:20:38 server id 1  end_log_pos 703 CRC32 0x91a90c52     Xid = 184

COMMIT/*!*/;

# at 703

#160817 10:20:43 server id 1  end_log_pos 775 CRC32 0x5ae24c0b     Query    thread_id=12    exec_time=0    error_code=0

SET TIMESTAMP=1471400443/*!*/;

BEGIN/*!*/;

# at 775

#160817 10:20:43 server id 1  end_log_pos 823 CRC32 0x33c52e84     Table_map: `test`.`t1` mapped to number 79

# at 823

#160817 10:20:43 server id 1  end_log_pos 865 CRC32 0x77e907a2     Delete_rows: table id 79 flags: STMT_END_F

BINLOG '+8mzVxMBAAAAMAAAADcDAAAAAE8AAAAAAAEABHRlc3QAAnQxAAIDDwIeAAOELsUz+8mzVyABAAAAKgAAAGEDAAAAAE8AAAAAAAEAAgAC//wBAAAAAWGiB+l3'/*!*/;

# at 865

#160817 10:20:43 server id 1  end_log_pos 896 CRC32 0xb0988385     Xid = 185

COMMIT/*!*/;

DELIMITER ;

# End of log file

ROLLBACK /* added by mysqlbinlog */;/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;

額，what is this，竟然沒看到一條明文的DML語句

實際上，對於ROW格式的二進位制日誌，需要使用如下方式檢視，這也是STATEMENT和ROW格式的差異之一

# mysqlbinlog mysql-bin.000025 -vv --base64-output=decode-rows

/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;/*!40019 SET @@session.max_insert_delayed_threads=0*/;/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;

DELIMITER /*!*/;

# at 4

#160817 10:20:16 server id 1  end_log_pos 120 CRC32 0x5b15ac4f     Start: binlog v 4, server v 5.6.31-log created 160817 10:20:16

# Warning: this binlog is either in use or was not closed properly.

# at 120

#160817 10:20:22 server id 1  end_log_pos 188 CRC32 0x005847f0     Query    thread_id=12    exec_time=0    error_code=0

SET TIMESTAMP=1471400422/*!*/;

SET @@session.pseudo_thread_id=12/*!*/;

SET @@session.foreign_key_checks=1, @@session.sql_auto_is_null=0, @@session.unique_checks=1, @@session.autocommit=1/*!*/;

SET @@session.sql_mode=1075838976/*!*/;

SET @@session.auto_increment_increment=1, @@session.auto_increment_offset=1/*!*/;/*!\C utf8 *//*!*/;

SET @@session.character_set_client=33,@@session.collation_connection=33,@@session.collation_server=33/*!*/;

SET @@session.lc_time_names=0/*!*/;

SET @@session.collation_database=DEFAULT/*!*/;

BEGIN/*!*/;

# at 188

#160817 10:20:22 server id 1  end_log_pos 236 CRC32 0x2b8d2069     Table_map: `test`.`t1` mapped to number 79

# at 236

#160817 10:20:22 server id 1  end_log_pos 278 CRC32 0xadc98fbc     Write_rows: table id 79 flags: STMT_END_F

### INSERT INTO `test`.`t1`

### SET

###   @1=1 /* INT meta=0 nullable=1 is_null=0 */

###   @2='a' /* VARSTRING(30) meta=30 nullable=1 is_null=0 */

# at 278

#160817 10:20:22 server id 1  end_log_pos 309 CRC32 0x552dc682     Xid = 175

COMMIT/*!*/;

# at 309

#160817 10:20:34 server id 1  end_log_pos 381 CRC32 0x17d8173e     Query    thread_id=12    exec_time=0    error_code=0

SET TIMESTAMP=1471400434/*!*/;

BEGIN/*!*/;

# at 381

#160817 10:20:34 server id 1  end_log_pos 429 CRC32 0x71a27e19     Table_map: `test`.`t1` mapped to number 79

# at 429

#160817 10:20:34 server id 1  end_log_pos 471 CRC32 0xefda98ca     Write_rows: table id 79 flags: STMT_END_F

### INSERT INTO `test`.`t1`

### SET

###   @1=2 /* INT meta=0 nullable=1 is_null=0 */

###   @2='b' /* VARSTRING(30) meta=30 nullable=1 is_null=0 */

# at 471

#160817 10:20:34 server id 1  end_log_pos 502 CRC32 0x7bed11c4     Xid = 183

COMMIT/*!*/;

# at 502

#160817 10:20:38 server id 1  end_log_pos 574 CRC32 0xd164b750     Query    thread_id=12    exec_time=0    error_code=0

SET TIMESTAMP=1471400438/*!*/;

BEGIN/*!*/;

# at 574

#160817 10:20:38 server id 1  end_log_pos 622 CRC32 0x9fa3cabc     Table_map: `test`.`t1` mapped to number 79

# at 622

#160817 10:20:38 server id 1  end_log_pos 672 CRC32 0xb1646398     Update_rows: table id 79 flags: STMT_END_F

### UPDATE `test`.`t1`

### WHERE

###   @1=2 /* INT meta=0 nullable=1 is_null=0 */

###   @2='b' /* VARSTRING(30) meta=30 nullable=1 is_null=0 */

### SET

###   @1=2 /* INT meta=0 nullable=1 is_null=0 */

###   @2='

相關推薦

淺析MySQL基於ROW格式的二進位制日誌

上文分析的二進位制日誌實際上是基於STATEMENT格式的，下面我們來看看基於ROW格式的二進位制日誌，畢竟，兩者對應的binlog事件型別也不一樣，同時，很多童鞋反映基於ROW格式的二進位制日誌無法查到原生的DML語句，關於這個問題，其實官方也給出瞭解決方案，下

mysql學習總結（二進位制日誌、伺服器變數、事務日誌）

1、mysql的二進位制日誌： 記錄導致資料改變或潛在導致資料帶變的SQL語句； 功能：用於“重放“日誌中的事務 Log_name ：日誌名 Pos：起始位置 Ev

使用mysql purge手動清除二進位制日誌

對於一個訪問量很大的mysql資料庫，二進位制日誌的增量通常十分迅速，很可能出乎你的意料。猶如跑馬圈地一樣，你的磁碟大部分都會被日誌給佔滿了。 出現問題總是需要解決的，而且總有要解決的方法： 方法一、使用php,perl,python，java等實現 連線資料庫後，根據你的

mysql複製環境清理二進位制日誌

1.檢視slave上正在讀取的日誌 mysql> show slave status \G; *************************** 1. row ***************************                Slave_IO_

MySQL二進位制日誌格式型別詳解

mysql很多有型別的日誌，按照元件劃分的話，可以分為 服務層日誌 和 儲存引擎層日誌 ： - 服務層日誌：二進位制日誌、慢查日誌、通用日誌 - 儲存引擎層日誌：innodb(重做日誌、回滾日誌) 其中比較重要的就是伺服器層的二進位制日誌，其中記錄了所有

MySQL複製(二)--基於二進位制日誌檔案(binlog)配置複製

  基礎環境：   主庫 從庫 伺服器IP地址 192.168.10.11 192.168.10.12 版本 5.7.24 5.7.24 已存在的資料庫 mysql> show databases; +--------------------+ | Databa

MySQL Binlog Mixed模式記錄成Row格式

asa概念： binlog format有三種形式：Statement、Mixed、Row，具體的信息可以自行到網上搜查。分析（本文碰到的案例）：查看MySQL binlog format[email protected]/* */ : dba_test 02:33:39>show

【20180507】MySQL主從在線修改binlog格式從STATEMENT更改成ROW格式

binlog format 主從復制 ROW 需求 公司內部有幾十套基於傳統復制的MySQL主從實例，而且binlog的格式都是STATEMENT格式。在接手這些MySQL主從實例之後就有考慮過想將binlog格式更改成ROW格式。而這次則是因為我們elk上面一個第三方工具需要解析和監聽binlo

[轉] MySQL "replace into" 的坑 (5.5 ROW格式)

code not num 什麽 ngs 主鍵 -i mas key MySQL 對 SQL 有很多擴展，有些用起來很方便，但有一些被誤用之後會有性能問題，還會有一些意料之外的副作用，比如 REPLACE INTO。 比如有這樣一張表： 1 2 3 4 5 6 7

詳解如何通過Mysql的二進位制日誌恢復資料庫資料

經常有網站管理員因為各種原因和操作，導致網站資料誤刪，而且又沒有做網站備份，結果不知所措，甚至給網站運營和盈利帶來負面影響。所以本文我們將和大家一起分享學習下如何通過Mysql的二機制日誌(binlog)來恢復資料。 系統環境： 作業系統：CentOS 6.5 X64  (虛擬機器

使用mysqlbinlog從二進位制日誌檔案中查詢mysql執行過的sql語句

前提MySQL開啟了binlog日誌操作1. 檢視MySQL是否開啟binlog(進mysql操作)　　mysql> show variables like 'log_bin%';       2. 查詢binlog檔名 &nbs

binlog二進位制日誌基於時間,基於位置position還原裡面的坑

首先是基於時間還原: 我linux裡面的命令最開始參考前輩部落格寫出來是這樣的 /usr/bin/mysqlbinlog --start-date="2018-10-26 11:00:00" --stop-date="2018-10-26 14:00:00" /var/lib/mysql/m

mysql 二進位制日誌增量備份sell指令碼

#function:MySQL增量備份指令碼 #version:1.0.0 #author:leiyuanxin #date:2018/10/26 #----------------------------------- #!/bin/sh exprot LANG=en_US.UTF-8 #設定時間

MySQL二進位制日誌的三種模式解析

原文出自 http://www.abcdocker.com/abcdocker/213 Row Level 行模式 日誌會記錄每一行資料被修改的形式，然後在slave端再對相同的資料進行修改 優點：在 row level模式下，bin-log中可以不記錄執行sql語句的上下文相關的資

mysql使用二進位制日誌恢復資料

一、恢復到某個二進位制檔案 1.開啟二進位制日誌 在mysqld的配置節點下新增如下配置 log-bin="E:/Mysql57BinLog/binlog"(windows下的路徑，linux下自行修改路徑)  expire_logs_days=10 max_b

mysql 開發進階篇系列 40 mysql日誌之二進位制日誌下以及查詢日誌

一.binlog 二進位制其它選項 　　在二進位制日誌記錄了資料的變化過程，對於資料的完整性和安全性起著非常重要作用。在mysql中還提供了一些其它引數選項，來進行更小粒度的管理。 　　1.1 binlog-do-db=db_name 　　　　該選項告訴主伺服器，當前db_name庫會更新記錄到二進位制日誌中

GTID中MySQL啟動時間慢？二進位制日誌檔案大小可能是問題

您是否在GTID模式下遇到MySQL啟動時間較慢的問題？我們最近在我們的一個MySQL託管部署中遇到了這個問題，並著手解決這個問題。在本文中，我們分解了可能會減慢MySQL重啟時間，如何除錯部署以及如何減少啟動時間和提高對基於GTID的複製的理解的問題。 我們如何找到問題 我們正在研究在啟用GTID模

如何通過 MySQL 的二進位制日誌恢復資料庫資料

經常有網站管理員因為各種原因和操作，導致網站資料誤刪，而且又沒有做網站備份，結果不知所措，甚至給網站運營和盈利帶來負面影響。所以本文我們將和大家一起分享學習下如何通過 MySQL 的二機制日誌（binlog）來恢復資料。 系統環境 作業系統：CentOS 6.5 X64 (虛擬機器)； Web 服務：PHP

Navicat使用教程（二）：使用MySQL日誌（第2部分）——二進位制日誌

下載Navicat for MySQL最新版本 Navicat for MySQL 是一套管理和開發 MySQL 或 MariaDB 的理想解決方案。使用Navicat for MySQL可以同時連線到 MySQL 和 MariaDB。Navicat for MySQL提供了強大的前端

mysql二進位制日誌詳解

一、什麼是二進位制日誌 二進位制日誌主要記錄mysql資料庫的變化，二進位制日誌包含所有更新了資料或者潛在更新了資料（如沒有匹配到任何行的delete語句），語句以時間的形式儲存，描述了資料的更改。二進位制日誌還包含執行每個更新資料庫語句的時間資訊，使用二進位制日誌的主要目的是最大可能的恢復資料庫。因為二進