MySQL日誌詳解(上篇)
日誌是資料庫的重要組成部分,主要用來記錄資料庫的執行情況、日常操作和錯誤資訊。
在 MySQL 中,日誌可以分為二進位制日誌、錯誤日誌、通用查詢日誌和慢查詢日誌。對於 MySQL 的管理工作而言,這些日誌檔案是不可缺少的。分析這些日誌,可以幫助我們瞭解 MySQL 資料庫的執行情況、日常操作、錯誤資訊和哪些地方需要進行優化。
下面簡單介紹 MySQL 中 4 種日誌檔案的作用。
- 二進位制日誌:該日誌檔案會以二進位制的形式記錄資料庫的各種操作,但不記錄查詢語句。
- 錯誤日誌:該日誌檔案會記錄 MySQL 伺服器的啟動、關閉和執行錯誤等資訊。
- 通用查詢日誌:該日誌記錄 MySQL 伺服器的啟動和關閉資訊、客戶端的連線資訊、更新、查詢資料記錄的 SQL 語句等。
- 慢查詢日誌:記錄執行事件超過指定時間的操作,通過工具分析慢查詢日誌可以定位 MySQL 伺服器效能瓶頸所在。
為了維護 MySQL 資料庫,經常需要在 MySQL 中進行日誌操作,包含日誌檔案的啟動、檢視、停止和刪除等,這些操作都是資料庫管理中最基本、最重要的操作。
例如,當用戶 root 登入到 MySQL 伺服器後,就會在日誌檔案裡記錄該使用者的登入事件、執行操作等資訊。當 MySQL 伺服器執行時出錯,出錯資訊就會被記錄到日誌檔案裡。
日誌操作是資料庫維護中最重要的手段之一。如果 MySQL 資料庫系統意外停止服務,我們可以通過錯誤日誌查看出現錯誤的原因。還可以通過二進位制日誌檔案來檢視使用者分別執行了哪些操作、對資料庫檔案做了哪些修改。然後,還可以根據二進位制日誌中的記錄來修復資料庫。
在 MySQL 所支援的日誌檔案裡,除了二進位制日誌檔案外,其它日誌檔案都是文字檔案。預設情況下,MySQL 只會啟動錯誤日誌檔案,而其它日誌則需要手動啟動
使用日誌有優點也有缺點。啟動日誌後,雖然可以對 MySQL 伺服器效能進行維護,但是會降低 MySQL 的執行速度。例如,一個查詢操作比較頻繁的 MySQL 中,記錄通用查詢日誌和慢查詢日誌要花費很多的時間。
日誌檔案還會佔用大量的硬碟空間。對於使用者量非常大、操作非常頻繁的資料庫,日誌檔案需要的儲存空間甚至比資料庫檔案需要的儲存空間還要大。因此,是否啟動日誌,啟動什麼型別的日誌要根據具體的應用來決定。
1.MySQL錯誤日誌(Error Log)詳解
錯誤日誌(Error Log)是 MySQL 中最常用的一種日誌,主要記錄 MySQL 伺服器啟動和停止過程中的資訊、伺服器在執行過程中發生的故障和異常情況等。
下面介紹如何操作檢視錯誤日誌。
啟動和設定錯誤日誌
在 MySQL 資料庫中,預設開啟錯誤日誌功能。一般情況下,錯誤日誌儲存在 MySQL 資料庫的資料資料夾下,通常名稱為 hostname.err。其中,hostname 表示 MySQL 伺服器的主機名。
在 MySQL 配置檔案中,錯誤日誌所記錄的資訊可以通過 log-error 和 log-warnings 來定義,其中,log-err 定義是否啟用錯誤日誌功能和錯誤日誌的儲存位置,log-warnings 定義是否將警告資訊也記錄到錯誤日誌中。
檢視錯誤日誌
錯誤日誌中記錄著開啟和關閉 MySQL 服務的時間,以及服務執行過程中出現哪些異常等資訊。如果 MySQL 服務出現異常,可以到錯誤日誌中查詢原因。
在 MySQL 中,通過 SHOW 命令可以檢視錯誤日誌檔案所在的目錄及檔名資訊。
將 log_error 選項加入到 MySQL 配置檔案的 [mysqld] 組中,形式如下:
[mysqld]
log-error=dir/{filename}
其中,dir 引數指定錯誤日誌的儲存路徑;filename 引數指定錯誤日誌的檔名;省略引數時檔名預設為主機名,存放在 Data 目錄中。
重啟 MySQL 服務後,引數開始生效,可以在指定路徑下看到 filename.err 的檔案,如果沒有指定 filename,那麼錯誤日誌將直接預設為 hostname.err。
注意:錯誤日誌中記錄的並非全是錯誤資訊,例如 MySQL 如何啟動 InnoDB 的表空間檔案、如何初始化自己的儲存引擎等,這些也記錄在錯誤日誌檔案中。
錯誤日誌以文字檔案的形式儲存,直接使用普通文字工具就可以檢視。這裡通過記事本開啟,從上面可以知道錯誤日誌的檔名。該檔案在預設的資料路徑“C:\ProgramData\MySQL\MySQL Server 5.7\Data\”下,開啟 LAPTOP-UHQ6V8KP.err 檔案,部分內容如下:
190906 22:06:45 InnoDB: Completed initialization of buffer pool 190906 22:06:45 InnoDB: highest supported file format is Barracuda. 190906 22:06:45 InnoDB: Waiting for the background threads to start 190906 22:06:46 InnoDB: 5.7.29 started; log sequence number 1605345 190906 22:06:47 [Note] Server hostname (bind-address): '0.0.0.0'; port: 3306 190906 22:06:47 [Note] - '0.0.0.0' resolves to '0.0.0.0'; 190906 22:06:47 [Note] Server socket created on IP: '0.0.0.0'. 190906 22:06:47 [Note] Event Scheduler: Loaded 0 events 190906 22:06:47 [Note] /usr/sbin/mysqld: ready for connections. Version: '5.7.29-log' socket: '/var/lib/mysql/mysql.sock' port: 3306 MySQL Community Server (GPL)View Code
以上是錯誤日誌檔案的一部分,主要記載了系統的一些執行錯誤。
刪除錯誤日誌
在 MySQL 中,可以使用 mysqladmin 命令來開啟新的錯誤日誌,以保證 MySQL 伺服器上的硬碟空間。mysqladmin 命令的語法如下:
mysqladmin -uroot -p flush-logs
執行該命令後,MySQL 伺服器首先會自動建立一個新的錯誤日誌,然後將舊的錯誤日誌更名為 filename.err-old。
MySQL 伺服器發生異常時,管理員可以在錯誤日誌中找到發生異常的時間、原因,然後根據這些資訊來解決異常。對於很久之前的錯誤日誌,檢視的可能性不大,可以直接將這些錯誤日誌刪除。
2.MySQL二進位制日誌(Binary Log)詳解
二進位制日誌(Binary Log)也可叫作變更日誌(Update Log),是 MySQL 中非常重要的日誌。主要用於記錄資料庫的變化情況,即 SQL 語句的 DDL 和 DML 語句,不包含資料記錄查詢操作。
如果 MySQL 資料庫意外停止,可以通過二進位制日誌檔案來檢視使用者執行了哪些操作,對資料庫伺服器檔案做了哪些修改,然後根據二進位制日誌檔案中的記錄來恢復資料庫伺服器。
預設情況下,二進位制日誌功能是關閉的。可以通過以下命令檢視二進位制日誌是否開啟,命令如下:
mysql> SHOW VARIABLES LIKE 'log_bin'; +---------------+-------+ | Variable_name | Value | +---------------+-------+ | log_bin | OFF | +---------------+-------+ 1 row in set, 1 warning (0.02 sec)
從結果可以看出,二進位制日誌是關閉的。
啟動和設定二進位制日誌
在 MySQL 中,可以通過在配置檔案中新增 log-bin 選項來開啟二進位制日誌,格式如下:
[mysqld]
log-bin=dir/[filename]
其中,dir 引數指定二進位制檔案的儲存路徑;filename 引數指定二進位制檔案的檔名,其形式為 filename.number,number 的形式為 000001、000002 等。
每次重啟 MySQL 服務後,都會生成一個新的二進位制日誌檔案,這些日誌檔案的檔名中 filename 部分不會改變,number 會不斷遞增。
如果沒有 dir 和 filename 引數,二進位制日誌將預設儲存在資料庫的資料目錄下,預設的檔名為 hostname-bin.number,其中 hostname 表示主機名。
下面在 my.ini 檔案的 [mysqld] 組中新增以下語句:
log-bin
重啟 MySQL 伺服器後,可以在 MySQL 資料庫的資料目錄下看到 LAPTOP-UHQ6V8KP-bin.000001 這個檔案,同時還生成了 LAPTOP-UHQ6V8KP-bin.index 檔案。此處,MySQL 伺服器的主機名為 LAPTOP-UHQ6V8KP。
還可以在 my.ini 檔案的 [mysqld] 組中進行如下修改。語句如下:
log-bin=C:log\mylog
重啟 MySQL 服務後,可以在 C:log 資料夾下看到 mylog.000001 檔案和 mylog.index 檔案。
檢視二進位制日誌
1. 檢視二進位制日誌檔案列表
可以使用如下命令檢視 MySQL 中有哪些二進位制日誌檔案:
mysql> SHOW binary logs; +----------------------------+-----------+ | Log_name | File_size | +----------------------------+-----------+ | LAPTOP-UHQ6V8KP-bin.000001 | 177 | | LAPTOP-UHQ6V8KP-bin.000002 | 154 | +----------------------------+-----------+ 2 rows in set (0.00 sec)
2. 檢視當前正在寫入的二進位制日誌檔案
可以使用以下命令檢視當前 MySQL 中正在寫入的二進位制日誌檔案。
mysql> SHOW master status; +----------------------------+----------+--------------+------------------+-------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +----------------------------+----------+--------------+------------------+-------------------+ | LAPTOP-UHQ6V8KP-bin.000002 | 154 | | | | +----------------------------+----------+--------------+------------------+-------------------+ 1 row in set (0.00 sec)
3. 檢視二進位制日誌檔案內容
二進位制日誌使用二進位制格式儲存,不能直接開啟檢視。如果需要檢視二進位制日誌,必須使用 mysqlbinlog 命令。
mysqlbinlog 命令的語法形式如下:
mysqlbinlog filename.number
mysqlbinlog 命令只在當前資料夾下查詢指定的二進位制日誌,因此需要在二進位制日誌所在的目錄下執行該命令,否則將會找不到指定的二進位制日誌檔案。
例 1
下面使用 mysqlbinlog 命令,來檢視 C:\log 目錄下的 mylog.000001 檔案,程式碼執行如下:
C:\Users\11645>cd C:\log C:\log>mysqlbinlog mylog.000001 /*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=1*/; /*!50003 SET @OLD_COMPLETION_TYPE=@@COMPLETION_TYPE,COMPLETION_TYPE=0*/; DELIMITER /*!*/; # at 4 #200527 9:33:37 server id 1 end_log_pos 123 CRC32 0x69738cfd Start: binlog v 4, server v 5.7.29-log created 200527 9:33:37 at startup ......View Code
由於日誌內容較長,這裡只展示了 mylog 中的部分內容。
使用 mysqlbinlog 命令時,可以指定二進位制檔案的儲存路徑。這樣可以確保 mysqlbinlog 命令可以找到二進位制檔案。上面例子中的命令可以變為如下形式:
mysqlbinlog C:\log\mylog.000001
這樣,mysqlbinlog 命令就會到 C:\log 目錄下去查詢 mylog.000001 檔案。如果不指定路徑,mysqlbinlog 命令將在當前目錄下查詢 mylog.000001 檔案。
除了 filename.number 檔案,MySQL 還會生成一個名為 filename.index 的檔案,這個檔案儲存著所有二進位制日誌檔案的列表,可以用記事本開啟該檔案。
小技巧:實際工作中,二進位制日誌檔案與資料庫的資料檔案不放在同一塊硬碟上,這樣即使資料檔案所在的硬碟被破壞,也可以使用另一塊硬碟上的二進位制日誌來恢復資料庫檔案。
兩塊硬碟同時壞了的可能性要小得多,這樣可以保證資料庫中資料的安全。
刪除二進位制日誌
二進位制日誌中記錄著大量的資訊,如果很長時間不清理二進位制日誌,將會浪費很多的磁碟空間。刪除二進位制日誌的方法很多,下面介紹幾種刪除二進位制日誌的方法。
1. 刪除所有二進位制日誌
使用RESET MASTER語句可以刪除的所有二進位制日誌,該語句的形式如下:
RESET MASTER;
登入 MySQL 資料庫後,可以執行該語句來刪除所有二進位制日誌。刪除所有二進位制日誌後,MySQL 將會重新建立新的二進位制日誌,新二進位制日誌的編號從 000001 開始。
2. 根據編號刪除二進位制日誌
每個二進位制日誌檔案後面有一個 6 位數的編號,如 000001。使用PURGE MASTER LOGS TO語句,可以刪除指定二進位制日誌的編號之前的日誌。該語句的基本語法形式如下:
PURGE MASTER LOGS TO 'filename.number';
該語句將刪除編號小於 filename.number 的所有二進位制日誌。
例 2
下面刪除 mylog.000004 之前的二進位制日誌,程式碼如下:
PURGE MASTER LOGS TO 'mylog.000004';
程式碼執行完後,編號為 000001、000002 和 000003 的二進位制日誌將被刪除。
3. 根據建立時間刪除二進位制日誌
使用 PURGE MASTER LOGS TO 語句,可以刪除指定時間之前建立的二進位制日誌,該語句的基本語法格式如下:
PURGE MASTER LOGS TO 'yyyy-mm-dd hh:MM:ss';
其中,“hh”為 24 制的小時。該語句將刪除在指定時間之前建立的所有二進位制日誌。
例 3
下面刪除 2019-12-20 15:00:00 之前建立的二進位制日誌,程式碼如下:
PURGE MASTER LOGS TO '2019-12-20 15:00:00";
程式碼執行完後,2019-12-20 15:00:00 之前建立的所有二進位制日誌將被刪除。
暫時停止二進位制日誌
在配置檔案中設定了 log_bin 選項之後,MySQL 伺服器將會一直開啟二進位制日誌功能。刪除該選項後就可以停止二進位制日誌功能,如果需要再次啟動這個功能,需要重新新增 log_bin 選項。由於這樣比較麻煩,所以 MySQL 提供了暫時停止二進位制日誌功能的語句。
如果使用者不希望自己執行的某些 SQL 語句記錄在二進位制日誌中,可以在執行這些 SQL 語句之前暫停二進位制日誌功能。
使用 SET 語句來暫停/開啟二進位制日誌功能,命令如下:
SET SQL_LOG_BIN=0/1;
以上命令中,0 表示暫停二進位制日誌功能,1 表示開啟二進位制功能。
拓展
my.ini 中的 [mysqld] 組下面有幾個設定引數是關於二進位制日誌的:
expire_logs_days = 10 max_binlog_size = 100M
- expire_logs_day 定義了 MySQL 清除過期日誌的時間、二進位制日誌自動刪除的天數。預設值為 0,表示“沒有自動刪除”。當 MySQL 啟動或重新整理二進位制日誌時可能刪除。
- max_binlog_size 定義了單個檔案的大小限制,如果二進位制日誌寫入的內容大小超出給定值,日誌就會發生滾動(關閉當前檔案,重新開啟一個新的日誌檔案)。不能將該變數設定為大於 1GB 或小於 4096B(位元組),其預設值是 1GB。
MySQL使用二進位制日誌還原資料庫
二進位制日誌中記錄了使用者對資料庫更改的所有操作,如 INSERT 語句、UPDATE 語句、CREATE 語句等。如果資料庫因為操作不當或其它原因丟失了資料,可以通過二進位制日誌來檢視在一定時間段內使用者的操作,結合資料庫備份來還原資料庫。
下面將為讀者詳細介紹使用二進位制日誌還原資料庫的方法。
資料庫遭到意外損壞時,應該先使用最近的備份檔案來還原資料庫。另外備份之後,資料庫可能進行了一些更新,這時可以使用二進位制日誌來還原。因為二進位制日誌中儲存了更新資料庫的語句,如 UPDATE 語句、INSERT 語句等。
二進位制日誌還原資料庫的命令如下:
mysqlbinlog filename.number | mysql -u root -p
以上命令可以理解成,先使用 mysqlbinlog 命令來讀取 filename.number 中的內容,再使用 mysql 命令將這些內容還原到資料庫中。
技巧:二進位制日誌雖然可以用來還原 MySQL 資料庫,但是其佔用的磁碟空間也是非常大的。因此,在備份 MySQL 資料庫之後,應該刪除備份之前的二進位制日誌。如果備份之後發生異常,造成資料庫的資料損失,可以通過備份之後的二進位制日誌進行還原。
使用 mysqlbinlog 命令進行還原操作時,必須是編號(number)小的先還原。例如,mylog.000001 必須在 mylog.000002 之前還原。
例 1
下面使用二進位制日誌來還原資料庫,程式碼如下:
mysqlbinlog mylog.000001 | mysql -u root -p mysqlbinlog mylog.000002 | mysql -u root -p mysqlbinlog mylog.000003 | mysql -u root -p mysqlbinlog mylog.000004 | mysql -u root -p