1. 程式人生 > 其它 >MySQL日誌詳解(上篇)

MySQL日誌詳解(上篇)

日誌是資料庫的重要組成部分,主要用來記錄資料庫的執行情況、日常操作和錯誤資訊

在 MySQL 中,日誌可以分為二進位制日誌、錯誤日誌、通用查詢日誌和慢查詢日誌。對於 MySQL 的管理工作而言,這些日誌檔案是不可缺少的。分析這些日誌,可以幫助我們瞭解 MySQL 資料庫的執行情況、日常操作、錯誤資訊和哪些地方需要進行優化。

下面簡單介紹 MySQL 中 4 種日誌檔案的作用。

  • 二進位制日誌:該日誌檔案會以二進位制的形式記錄資料庫的各種操作,但不記錄查詢語句。
  • 錯誤日誌:該日誌檔案會記錄 MySQL 伺服器的啟動、關閉和執行錯誤等資訊。
  • 通用查詢日誌:該日誌記錄 MySQL 伺服器的啟動和關閉資訊、客戶端的連線資訊、更新、查詢資料記錄的 SQL 語句等。
  • 慢查詢日誌:記錄執行事件超過指定時間的操作,通過工具分析慢查詢日誌可以定位 MySQL 伺服器效能瓶頸所在。


為了維護 MySQL 資料庫,經常需要在 MySQL 中進行日誌操作,包含日誌檔案的啟動、檢視、停止和刪除等,這些操作都是資料庫管理中最基本、最重要的操作。

例如,當用戶 root 登入到 MySQL 伺服器後,就會在日誌檔案裡記錄該使用者的登入事件、執行操作等資訊。當 MySQL 伺服器執行時出錯,出錯資訊就會被記錄到日誌檔案裡。

日誌操作是資料庫維護中最重要的手段之一。如果 MySQL 資料庫系統意外停止服務,我們可以通過錯誤日誌查看出現錯誤的原因。還可以通過二進位制日誌檔案來檢視使用者分別執行了哪些操作、對資料庫檔案做了哪些修改。然後,還可以根據二進位制日誌中的記錄來修復資料庫。

在 MySQL 所支援的日誌檔案裡,除了二進位制日誌檔案外,其它日誌檔案都是文字檔案。預設情況下,MySQL 只會啟動錯誤日誌檔案,而其它日誌則需要手動啟動



使用日誌有優點也有缺點。啟動日誌後,雖然可以對 MySQL 伺服器效能進行維護,但是會降低 MySQL 的執行速度。例如,一個查詢操作比較頻繁的 MySQL 中,記錄通用查詢日誌和慢查詢日誌要花費很多的時間。

日誌檔案還會佔用大量的硬碟空間。對於使用者量非常大、操作非常頻繁的資料庫,日誌檔案需要的儲存空間甚至比資料庫檔案需要的儲存空間還要大。因此,是否啟動日誌,啟動什麼型別的日誌要根據具體的應用來決定。

1.MySQL錯誤日誌(Error Log)詳解

錯誤日誌(Error Log)是 MySQL 中最常用的一種日誌,主要記錄 MySQL 伺服器啟動和停止過程中的資訊、伺服器在執行過程中發生的故障和異常情況等。

下面介紹如何操作檢視錯誤日誌。

啟動和設定錯誤日誌

在 MySQL 資料庫中,預設開啟錯誤日誌功能。一般情況下,錯誤日誌儲存在 MySQL 資料庫的資料資料夾下,通常名稱為 hostname.err。其中,hostname 表示 MySQL 伺服器的主機名。

在 MySQL 配置檔案中,錯誤日誌所記錄的資訊可以通過 log-error 和 log-warnings 來定義,其中,log-err 定義是否啟用錯誤日誌功能和錯誤日誌的儲存位置,log-warnings 定義是否將警告資訊也記錄到錯誤日誌中。

檢視錯誤日誌

錯誤日誌中記錄著開啟和關閉 MySQL 服務的時間,以及服務執行過程中出現哪些異常等資訊。如果 MySQL 服務出現異常,可以到錯誤日誌中查詢原因。

在 MySQL 中,通過 SHOW 命令可以檢視錯誤日誌檔案所在的目錄及檔名資訊。

將 log_error 選項加入到 MySQL 配置檔案的 [mysqld] 組中,形式如下:

[mysqld]
log-error=dir/{filename}

其中,dir 引數指定錯誤日誌的儲存路徑;filename 引數指定錯誤日誌的檔名;省略引數時檔名預設為主機名,存放在 Data 目錄中。

重啟 MySQL 服務後,引數開始生效,可以在指定路徑下看到 filename.err 的檔案,如果沒有指定 filename,那麼錯誤日誌將直接預設為 hostname.err。

注意:錯誤日誌中記錄的並非全是錯誤資訊,例如 MySQL 如何啟動 InnoDB 的表空間檔案、如何初始化自己的儲存引擎等,這些也記錄在錯誤日誌檔案中。

錯誤日誌以文字檔案的形式儲存,直接使用普通文字工具就可以檢視。這裡通過記事本開啟,從上面可以知道錯誤日誌的檔名。該檔案在預設的資料路徑“C:\ProgramData\MySQL\MySQL Server 5.7\Data\”下,開啟 LAPTOP-UHQ6V8KP.err 檔案,部分內容如下:

190906 22:06:45 InnoDB: Completed initialization of buffer pool
190906 22:06:45 InnoDB: highest supported file format is Barracuda.
190906 22:06:45  InnoDB: Waiting for the background threads to start
190906 22:06:46 InnoDB: 5.7.29 started; log sequence number 1605345
190906 22:06:47 [Note] Server hostname (bind-address): '0.0.0.0'; port: 3306
190906 22:06:47 [Note]   - '0.0.0.0' resolves to '0.0.0.0';
190906 22:06:47 [Note] Server socket created on IP: '0.0.0.0'.
190906 22:06:47 [Note] Event Scheduler: Loaded 0 events
190906 22:06:47 [Note] /usr/sbin/mysqld: ready for connections.
Version: '5.7.29-log'  socket: '/var/lib/mysql/mysql.sock'  port: 3306  MySQL Community Server (GPL)
View Code

以上是錯誤日誌檔案的一部分,主要記載了系統的一些執行錯誤。

刪除錯誤日誌

在 MySQL 中,可以使用 mysqladmin 命令來開啟新的錯誤日誌,以保證 MySQL 伺服器上的硬碟空間。mysqladmin 命令的語法如下:

mysqladmin -uroot -p flush-logs

執行該命令後,MySQL 伺服器首先會自動建立一個新的錯誤日誌,然後將舊的錯誤日誌更名為 filename.err-old。

MySQL 伺服器發生異常時,管理員可以在錯誤日誌中找到發生異常的時間、原因,然後根據這些資訊來解決異常。對於很久之前的錯誤日誌,檢視的可能性不大,可以直接將這些錯誤日誌刪除。

2.MySQL二進位制日誌(Binary Log)詳解

二進位制日誌(Binary Log)也可叫作變更日誌(Update Log),是 MySQL 中非常重要的日誌。主要用於記錄資料庫的變化情況,即 SQL 語句的 DDL 和 DML 語句,不包含資料記錄查詢操作。

如果 MySQL 資料庫意外停止,可以通過二進位制日誌檔案來檢視使用者執行了哪些操作,對資料庫伺服器檔案做了哪些修改,然後根據二進位制日誌檔案中的記錄來恢復資料庫伺服器。

預設情況下,二進位制日誌功能是關閉的。可以通過以下命令檢視二進位制日誌是否開啟,命令如下:

mysql> SHOW VARIABLES LIKE 'log_bin';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| log_bin       | OFF   |
+---------------+-------+
1 row in set, 1 warning (0.02 sec)

從結果可以看出,二進位制日誌是關閉的。

啟動和設定二進位制日誌

在 MySQL 中,可以通過在配置檔案中新增 log-bin 選項來開啟二進位制日誌,格式如下:

[mysqld]
log-bin=dir/[filename]

其中,dir 引數指定二進位制檔案的儲存路徑;filename 引數指定二進位制檔案的檔名,其形式為 filename.number,number 的形式為 000001、000002 等。

每次重啟 MySQL 服務後,都會生成一個新的二進位制日誌檔案,這些日誌檔案的檔名中 filename 部分不會改變,number 會不斷遞增。

如果沒有 dir 和 filename 引數,二進位制日誌將預設儲存在資料庫的資料目錄下,預設的檔名為 hostname-bin.number,其中 hostname 表示主機名。

下面在 my.ini 檔案的 [mysqld] 組中新增以下語句:

log-bin

重啟 MySQL 伺服器後,可以在 MySQL 資料庫的資料目錄下看到 LAPTOP-UHQ6V8KP-bin.000001 這個檔案,同時還生成了 LAPTOP-UHQ6V8KP-bin.index 檔案。此處,MySQL 伺服器的主機名為 LAPTOP-UHQ6V8KP。

還可以在 my.ini 檔案的 [mysqld] 組中進行如下修改。語句如下:

log-bin=C:log\mylog

重啟 MySQL 服務後,可以在 C:log 資料夾下看到 mylog.000001 檔案和 mylog.index 檔案。

檢視二進位制日誌

1. 檢視二進位制日誌檔案列表

可以使用如下命令檢視 MySQL 中有哪些二進位制日誌檔案:

mysql> SHOW binary logs;
+----------------------------+-----------+
| Log_name                   | File_size |
+----------------------------+-----------+
| LAPTOP-UHQ6V8KP-bin.000001 |       177 |
| LAPTOP-UHQ6V8KP-bin.000002 |       154 |
+----------------------------+-----------+
2 rows in set (0.00 sec)

2. 檢視當前正在寫入的二進位制日誌檔案

可以使用以下命令檢視當前 MySQL 中正在寫入的二進位制日誌檔案。

mysql> SHOW master status;
+----------------------------+----------+--------------+------------------+-------------------+
| File                       | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+----------------------------+----------+--------------+------------------+-------------------+
| LAPTOP-UHQ6V8KP-bin.000002 |      154 |              |                  |                   |
+----------------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)

3. 檢視二進位制日誌檔案內容

二進位制日誌使用二進位制格式儲存,不能直接開啟檢視。如果需要檢視二進位制日誌,必須使用 mysqlbinlog 命令

mysqlbinlog 命令的語法形式如下:

mysqlbinlog filename.number

mysqlbinlog 命令只在當前資料夾下查詢指定的二進位制日誌,因此需要在二進位制日誌所在的目錄下執行該命令,否則將會找不到指定的二進位制日誌檔案。

例 1

下面使用 mysqlbinlog 命令,來檢視 C:\log 目錄下的 mylog.000001 檔案,程式碼執行如下:

C:\Users\11645>cd C:\log
C:\log>mysqlbinlog mylog.000001
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/;
/*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/;
DELIMITER /*!*/;
# at 4
#200527  9:33:37 server id 1  end_log_pos 123 CRC32 0x69738cfd  Start: binlog v 4, server v 5.7.29-log created 200527  9:33:37 at startup
......
View Code

由於日誌內容較長,這裡只展示了 mylog 中的部分內容。

使用 mysqlbinlog 命令時,可以指定二進位制檔案的儲存路徑。這樣可以確保 mysqlbinlog 命令可以找到二進位制檔案。上面例子中的命令可以變為如下形式:

mysqlbinlog C:\log\mylog.000001

這樣,mysqlbinlog 命令就會到 C:\log 目錄下去查詢 mylog.000001 檔案。如果不指定路徑,mysqlbinlog 命令將在當前目錄下查詢 mylog.000001 檔案。

除了 filename.number 檔案,MySQL 還會生成一個名為 filename.index 的檔案,這個檔案儲存著所有二進位制日誌檔案的列表,可以用記事本開啟該檔案。

小技巧:實際工作中,二進位制日誌檔案與資料庫的資料檔案不放在同一塊硬碟上,這樣即使資料檔案所在的硬碟被破壞,也可以使用另一塊硬碟上的二進位制日誌來恢復資料庫檔案。
兩塊硬碟同時壞了的可能性要小得多,這樣可以保證資料庫中資料的安全。

刪除二進位制日誌

二進位制日誌中記錄著大量的資訊,如果很長時間不清理二進位制日誌,將會浪費很多的磁碟空間。刪除二進位制日誌的方法很多,下面介紹幾種刪除二進位制日誌的方法。

1. 刪除所有二進位制日誌

使用RESET MASTER語句可以刪除的所有二進位制日誌,該語句的形式如下:

RESET MASTER;

登入 MySQL 資料庫後,可以執行該語句來刪除所有二進位制日誌。刪除所有二進位制日誌後,MySQL 將會重新建立新的二進位制日誌,新二進位制日誌的編號從 000001 開始。

2. 根據編號刪除二進位制日誌

每個二進位制日誌檔案後面有一個 6 位數的編號,如 000001。使用PURGE MASTER LOGS TO語句,可以刪除指定二進位制日誌的編號之前的日誌。該語句的基本語法形式如下:

PURGE MASTER LOGS TO 'filename.number';

該語句將刪除編號小於 filename.number 的所有二進位制日誌。

例 2

下面刪除 mylog.000004 之前的二進位制日誌,程式碼如下:

PURGE MASTER LOGS TO 'mylog.000004';

程式碼執行完後,編號為 000001、000002 和 000003 的二進位制日誌將被刪除。

3. 根據建立時間刪除二進位制日誌

使用 PURGE MASTER LOGS TO 語句,可以刪除指定時間之前建立的二進位制日誌,該語句的基本語法格式如下:

PURGE MASTER LOGS TO 'yyyy-mm-dd hh:MM:ss';

其中,“hh”為 24 制的小時。該語句將刪除在指定時間之前建立的所有二進位制日誌。

例 3

下面刪除 2019-12-20 15:00:00 之前建立的二進位制日誌,程式碼如下:

PURGE MASTER LOGS TO '2019-12-20 15:00:00";

程式碼執行完後,2019-12-20 15:00:00 之前建立的所有二進位制日誌將被刪除。

暫時停止二進位制日誌

在配置檔案中設定了 log_bin 選項之後,MySQL 伺服器將會一直開啟二進位制日誌功能。刪除該選項後就可以停止二進位制日誌功能,如果需要再次啟動這個功能,需要重新新增 log_bin 選項。由於這樣比較麻煩,所以 MySQL 提供了暫時停止二進位制日誌功能的語句。

如果使用者不希望自己執行的某些 SQL 語句記錄在二進位制日誌中,可以在執行這些 SQL 語句之前暫停二進位制日誌功能。

使用 SET 語句來暫停/開啟二進位制日誌功能,命令如下:

SET SQL_LOG_BIN=0/1;

以上命令中,0 表示暫停二進位制日誌功能,1 表示開啟二進位制功能。

拓展

my.ini 中的 [mysqld] 組下面有幾個設定引數是關於二進位制日誌的:

expire_logs_days = 10
max_binlog_size = 1​00M
  • expire_logs_day 定義了 MySQL 清除過期日誌的時間、二進位制日誌自動刪除的天數。預設值為 0,表示“沒有自動刪除”。當 MySQL 啟動或重新整理二進位制日誌時可能刪除。
  • max_binlog_size 定義了單個檔案的大小限制,如果二進位制日誌寫入的內容大小超出給定值,日誌就會發生滾動(關閉當前檔案,重新開啟一個新的日誌檔案)。不能將該變數設定為大於 1GB 或小於 4096B(位元組),其預設值是 1GB。

MySQL使用二進位制日誌還原資料庫

二進位制日誌中記錄了使用者對資料庫更改的所有操作,如 INSERT 語句、UPDATE 語句、CREATE 語句等。如果資料庫因為操作不當或其它原因丟失了資料,可以通過二進位制日誌來檢視在一定時間段內使用者的操作,結合資料庫備份來還原資料庫。

下面將為讀者詳細介紹使用二進位制日誌還原資料庫的方法。

資料庫遭到意外損壞時,應該先使用最近的備份檔案來還原資料庫。另外備份之後,資料庫可能進行了一些更新,這時可以使用二進位制日誌來還原。因為二進位制日誌中儲存了更新資料庫的語句,如 UPDATE 語句、INSERT 語句等。

二進位制日誌還原資料庫的命令如下:

mysqlbinlog filename.number | mysql -u root -p

以上命令可以理解成,先使用 mysqlbinlog 命令來讀取 filename.number 中的內容,再使用 mysql 命令將這些內容還原到資料庫中。

技巧:二進位制日誌雖然可以用來還原 MySQL 資料庫,但是其佔用的磁碟空間也是非常大的。因此,在備份 MySQL 資料庫之後,應該刪除備份之前的二進位制日誌。如果備份之後發生異常,造成資料庫的資料損失,可以通過備份之後的二進位制日誌進行還原。

使用 mysqlbinlog 命令進行還原操作時,必須是編號(number)小的先還原。例如,mylog.000001 必須在 mylog.000002 之前還原。

例 1

下面使用二進位制日誌來還原資料庫,程式碼如下:

mysqlbinlog mylog.000001 | mysql -u root -p
mysqlbinlog mylog.000002 | mysql -u root -p
mysqlbinlog mylog.000003 | mysql -u root -p
mysqlbinlog mylog.000004 | mysql -u root -p