本文更新於2020-04-05，使用MySQL 5.7，作業系統為Deepin 15.4。

目錄

• MySQL體系結構
• MySQL記憶體優化
  • MyISAM記憶體優化
    • key_buffer_size設定
    • 使用多索引快取
    • 調整中點插入策略
    • 調整read_buffer_size和read_rnd_buffer_size
  • InnoDB記憶體優化
    • innodb_buffer_pool_size設定
    • 調整old sublist大小
    • innodb_old_blocks_time設定
    • 調整快取池數量，減少內部對快取池資料結構的爭用
    • 控制快取池重新整理，延長資料快取時間，減少磁碟IO
    • InnoDB雙寫策略
  • 調整使用者服務執行緒排序快取區
  • 使用查詢快取
• InnoDB日誌優化
  • innodb_flush_log_at_trx_commit設定
  • 設定innodb_log_file_size，控制檢查點
  • innodb_log_buffer_size設定
• 調整MySQL併發相關的引數
  • max_connections設定
  • open_files_limit設定
  • back_log設定
  • table_open_cache設定
  • thread_cache_size設定
  • innodb_lock_wait_timeout設定

MySQL體系結構

MySQL例項由一組後臺執行緒、一些記憶體塊和若干服務執行緒組成。

後臺執行緒包括：

• 主執行緒：主要負責將髒快取頁重新整理到資料檔案，執行purge操作，觸發檢查點，合併插入緩衝區等。
• IO執行緒：
  • insert buffer執行緒：主要負責插入緩衝區的合併操作。
  • read執行緒：負責資料庫讀操作，可配置多個讀執行緒。
  • write執行緒：負責資料庫寫操作，可配置多個寫執行緒。
  • log執行緒：將重做日誌重新整理到logfile中。
• 鎖執行緒：負責鎖控制和死鎖檢測。
• 錯誤監控執行緒：主要負責錯誤監控和錯誤處理。
• purge執行緒：MySQL5.5之後用單獨的執行緒執行purge操作。

可通過SHOW ENGINE INNODB STATUS檢視執行緒的狀態。

MySQL記憶體優化

記憶體優化原則：

• 將盡量多的記憶體分配給MySQL做快取，但要給作業系統和其他應用程式的執行預留足夠的記憶體，否則如果產生SWAP頁交換，將嚴重影響系統性能。
• MyISAM的資料檔案讀取依賴於作業系統自身的IO快取，因此，如果有MyISAM表，就要預留更多的記憶體給作業系統做IO快取。
• 排序區、連線區等快取是分配給每個資料庫會話專用的，其預設值的設定要根據最大連線數合理分配，如果設定太大，不但浪費記憶體資源，而且在併發連線較高時會導致實體記憶體耗盡。

MyISAM記憶體優化

MyISAM儲存引擎使用索引快取（key buffer）快取索引塊，對於資料塊沒有特別的快取機制，完全依賴於作業系統的IO快取。

key_buffer_size設定

key_buffer_size決定MyISAM索引快取區的大小，它直接影響MyISAM表的存取效率。建議至少分配1/4可用實體記憶體。

通過檢查系統狀態變數可評估MyISAM快取的效率：

• 讀比率：key_reads/key_read_requests，一般應小於0.01。
• 寫比率：key_writes/key_write_requests，對於更新和刪除特別多的應用可能接近1，對於每次更新很多行的應用就會比較小。
• 使用率：1-(key_blocks_unused*key_cache_block_size/key_buffer_size)，一般在0.8左右比較合適。

使用多索引快取

多索引快取的機制，可以將不同表的索引快取放到不同的key buffer中，減少session間對key buffer的競爭導致熱資料被淘汰。

建立新的索引快取（keybuffername為新建的快取名，下同）：

SET GLOBAL keybuffername.key_buffer_size = n

刪除索引快取：

SET GLOBAL keybuffername.key_buffer_size = 0

指定表的索引快取（不指定則使用預設索引快取）：

CACHE INDEX tablename[, ...] IN keybuffername

索引預載入：

LOAD INDEX INTO CACHE tablename[, ...]

調整中點插入策略

MySQL預設使用LRU（Last Recently Used）策略來選擇要淘汰的索引資料塊，可使用中點插入策略（Midpoint Insertion Strategy）來優化索引塊淘汰演算法。其將LRU鏈被分為hot子表和warm子表兩部分，能避免偶爾被訪問的索引塊將訪問頻繁的熱塊淘汰。

可以通過設定key_cache_division_limit來控制多大比例的快取用做warm子表，預設值為100，也就是不啟用中點插入策略。
還可以通過key_cache_age_threshold設定資料塊由hot子表向warm子表降級的時間。對於有N個塊的索引快取來說，如果一個在hot子表頭部的索引塊在最後N*key_cache_age_threshold/100次快取命中未被訪問過，就會被降級到warm子表。

調整read_buffer_size和read_rnd_buffer_size

如果需要經常順序掃描MyISAM表，可以增大read_buffer_size。如果需要做排序的查詢（如ORDER BY），可以增大read_rnd_buffer_size。但需注意，二者都是按session分配的。

InnoDB記憶體優化

InnoDB快取池（buffer pool）不僅用來快取索引塊，也用來快取資料塊。

InnoDB快取池邏輯上由空閒快取塊列表（free list）、需要重新整理到磁碟的快取塊列表（flush list）和正在使用的快取塊列表（LRU list）組成。

InnoDB使用的LRU演算法與MyISAM的中點插入策略LRU演算法類似，其將LRU list分為young sublist和old sublist。頁的重新整理存在於flush list和LRU list中，從LRU list淘汰的資料頁會立刻放到free list中。

innodb_buffer_pool_size設定

innodb_buffer_pool_size決定InnoDB儲存引擎表資料和索引資料的最大快取池大小。在專用資料庫伺服器上，可分配80%的實體記憶體。

可通過SHOW STATUS LIKE 'innodb_buffer_pool%'檢視快取池的使用情況。

InnoDB快取池命中率：1-innodb_buffer_pool_reads/innodb_buffer_pool_read_request。

調整old sublist大小

old sublist的比例由innodb_old_blocks_pct決定，其取值範圍為5-95，預設為37。

innodb_old_blocks_time設定

innodb_old_blocks_time決定了快取資料塊從old sublist轉移到young sublist的快慢，單位為毫秒。

調整快取池數量，減少內部對快取池資料結構的爭用

InnoDB會將innodb_buffer_pool_size指定大小的快取平分給innodb_buffer_pool_instances個buffer pool。

控制快取池重新整理，延長資料快取時間，減少磁碟IO

在InnoDB找不到乾淨的可用快取頁或檢查點被觸發等情況下，後臺執行緒就會開始把髒的快取頁回寫到磁碟檔案中，這個過程叫快取重新整理。

快取重新整理的快慢主要取決於兩個引數：

• innodb_max_dirty_pages_pct：控制快取池中髒頁的最大比例，預設為75%。
• innodb_io_capacity：代表磁碟的IO能力，決定一批重新整理髒頁的數量，預設為200。

InnoDB雙寫策略

在進行髒頁重新整理時，InnoDB採用雙寫（doublewrite）策略，首先將髒頁的副本寫到系統表空間的doublewrite buffer，原因是：MySQL的資料頁大小（一般是16K）與作業系統的IO資料頁大小（一般是4K）不一致，無法保證快取頁被完整、一致地重新整理到磁碟。由於同步到doublewrite buffer是對連續磁碟空間的順序寫，因此開啟雙寫對效能的影響並不太大。

可通過SHOW VARIABLES LIKE '%doublewrite%'檢視雙寫是否開啟。

調整使用者服務執行緒排序快取區

如果通過SHOW GLOBAL STATUS看到sort_merge_passes的值很大，可以增大sort_buffer_size來增大排序快取區。
對於無法通過索引進行連線操作的查詢，可以增大join_buffer_size。
不過需注意，二者的快取區都是面向服務執行緒分配的。如果是多表關聯的複雜查詢，還可能會分配多個表連線快取區。

使用查詢快取

查詢快取儲存SELECT查詢的文字及相應結果，如果隨後收到一個相同的查詢，直接從查詢快取中得到結果，而不再需要解析和查詢。

可以通過SHOW VARIABLES LIKE '%query_cache%'可以檢視快取相關的引數，通過SHOW STATUS LIKE '%Qcache%'可以檢視查詢快取的使用情況。

InnoDB日誌優化

當更新資料時，InnoDB內部的操作流程大致是：

1. 將資料讀入快取池，並對相關記錄加獨佔鎖。
2. 將UNDO資訊寫入undo表空間的回滾段中。
3. 更新快取頁中的資料，並將更新記錄寫入重做日誌快取池（另一個快取池redo buffer）中。
4. 提交時，根據innodb_flush_log_at_trx_commit的設定，用不同的方式將重做日誌快取池中的更新記錄重新整理到重做日誌檔案中，然後釋放獨佔鎖。
5. 後臺IO執行緒根據需要擇機將快取中更新過的資料重新整理到磁碟檔案中。

LSN（Log Sequence Number）稱為日誌序列號，實際上對應日誌檔案的偏移量。生成公式為：新的LSN=舊的LSN+寫入的日誌大小。

innodb_flush_log_at_trx_commit設定

控制將redo buffer中的更新記錄寫入到日誌檔案以及將日誌檔案資料重新整理到磁碟的操作時機。

• 值為0：在事務提交時，不會立即將快取中的redo日誌寫到磁碟檔案，而是每秒觸發一次，並呼叫作業系統fsync重新整理IO快取。如果資料庫崩潰，資料就會丟失。
• 值為1（預設值）：事務提交時，立即將快取中的redo日誌回寫到磁碟檔案，並呼叫作業系統fsync重新整理IO快取。
• 值為2：事務提交時，立即將快取中的redo日誌回寫到磁碟檔案，但並不馬上呼叫fsync重新整理IO快取，而是每秒觸發一次。如果資料庫崩潰，只要作業系統沒有崩潰，資料就不會丟失。

設定innodb_log_file_size，控制檢查點

當一個日誌檔案寫滿後，InnoDB會自動切換到另一個日誌檔案，但切換時會觸發資料庫檢查點（checkpoint），這將導致InnoDB快取髒頁的小批量重新整理，會明顯降低InnoDB的效能。

一般來說，平均每半小時寫滿一個日誌檔案比較合適。

innodb_log_buffer_size設定

innodb_log_buffer_size決定InnoDB重做日誌快取池的大小，預設是8MB。

調整MySQL併發相關的引數

max_connections設定

max_connections控制允許連線到MySQL資料庫的最大數量，預設是151。

如果狀態變數connection_errors_max_connections不為0且一直增長，說明不斷有連線請求因資料庫連線數已達到最大允許值而失敗。

open_files_limit設定

因資料庫連線也要佔用檔案描述符，也需注意open_files_limit是否足夠。

back_log設定

back_log控制MySQL監聽TCP埠時的積壓請求棧大小。MySQL 5.6.6以後預設為50+(max_connections/5)，但最大不超過900。

table_open_cache設定

table_open_cache控制所有SQL執行執行緒可開啟的表快取數量。該值應設定為：max_connections*N，N為每個連線執行關聯查詢時所涉及到的表的最大個數。

thread_cache_size設定

thread_cache_size控制MySQL快取可供重用的客戶服務執行緒的數量。

可以通過執行緒cache的失效率threads_created/connections來衡量tread_cache_size的設定是否合適。

innodb_lock_wait_timeout設定

innodb_lock_wait_timeout可以控制InnoDB事務等待行鎖的時間，預設為50ms。