mysql資料庫慢日誌基本知識
一、什麼是慢日誌?
MySQL 的慢查詢日誌是 MySQL 提供的一種日誌記錄,它用來記錄在 MySQL 中響應時間超過閥值的語句,具體指執行時間超過long_query_time
值的 SQL,則會被記錄到慢查詢日誌中。long_query_time
的預設值為10
,意思是執行10s
以上的語句。
預設情況下,MySQL 資料庫並不啟動慢查詢日誌,需要我們手動來設定這個引數,當然,如果不是調優需要的話,一般不建議啟動該引數,因為開啟慢查詢日誌或多或少會帶來一定的效能影響。慢查詢日誌支援將日誌記錄寫入檔案,也支援將日誌記錄寫入資料庫表。
- 5.6官方說明:https://dev.mysql.com/doc/refman/5.6/en/slow-query-log.html
- 5.7官方說明:https://dev.mysql.com/doc/refman/5.7/en/slow-query-log.html
二、什麼情況下產生慢日誌?
看圖說話,有很多開關影響著慢日誌的生成,相關的引數後面會挨個說明。從上圖可以看出慢日誌輸出的內容有兩個,第一執行時間過長(大於設定的long_query_time
閾值);第二未使用索引,或者未使用最優的索引。
這兩種日誌預設情況下都沒有開啟,特別是未使用索引的日誌,因為這一類的日誌可能會有很多,所以還有個特別的開關log_throttle_queries_not_using_indexes
用於限制每分鐘輸出未使用索引的日誌數量。
關鍵程式碼如下:
Slow log 呼叫棧(MySQL 5.6.34 ):
三、慢日誌相關引數
以上應該是最完整的和慢日誌相關的所有引數,大多數引數都有前置條件,所以在使用的時候可以參照上面的流程圖。
5.6官方文件:
- https://dev.mysql.com/doc/refman/5.6/en/server-system-variables.html
- https://dev.mysql.com/doc/refman/5.6/en/server-options.html
四、慢日誌輸出內容
第一行:標記日誌產生的時間,準確說是 SQL 執行完成的時間點,改行記錄每一秒只打印一條。
第二行:客戶端的賬戶資訊,兩個使用者名稱(第一個是授權賬戶,第二個為登入賬戶),客戶端 IP 地址,還有mysqld
的執行緒 ID。
第三行:查詢執行的資訊,包括查詢時長,鎖持有時長,返回客戶端的行數,掃描行數。通常我需要優化的就是最後一個內容,儘量減少 SQL 語句掃描的資料行數。
第四行:通過程式碼看,貌似和第一行的時間沒有區別。
第五話:最後就是產生慢查詢的 SQL 語句。
--log-short-format=true:
- 1
如果mysqld
啟動時指定了--log-short-format
引數,則不會輸出第一、第二行。
log-queries-not-using-indexes=on
log_throttle_queries_not_using_indexes > 0 :
- 1
- 2
如果啟用了以上兩個引數,每分鐘超過log_throttle_queries_not_using_indexes
配置的未使用索引的慢日誌將會被抑制,被抑制的資訊會被彙總,每分鐘輸出一次。
格式如下:
五、慢日誌分析工具
- 官方自帶工具:`mysqldumpslow
- 開源工具:mysqlsla
- percona-toolkit:工具包中的 pt-query-digest 工具可以分析彙總慢查詢資訊,具體邏輯可以看 SlowLogParser 這個函式。
總的來說,MySQL 的日誌內容本身不復雜,上面 3 個工具都是用 perl 指令碼實現,程式碼行數不超過 200 行,有興趣的同學也可以自己嘗試著解析下。
詳情可以參閱下這篇文章:
- 《MySQL 慢查詢設定和分析工具 》:https://flyerboy.github.io/2016/12/23/mysql_slow/
以上工具可以支撐慢日誌的常用統計,但是當我們需要做到 SQL 級別的統計時,我們還需要取解析 SQL 把引數提取出來。
六、慢日誌的清理與備份
- 刪除:直接刪除慢日誌檔案,執行
flush logs
(必須的)。 - 備份:先用
mv
重新命名檔案(不要跨分割槽),然後執行flush logs
(必須的)。
另外修改系統變數slow_query_log_file
也可以立即生效;執行flush logs
,系統會先close
當前的控制代碼,然後重新open
;mv
, rm
日誌檔案系統並不會報錯,具體的原因可以 Google 下 linux i_count
i_nlink`。