第03章 服務器細性能剖析
阿新 • • 發佈：2018-06-12
緩沖池 釋放 爭用 此外 機制 循環 系列 XP 不用
如何確認服務器達到了最佳性能狀態,找出某條語句為什麽執行不夠快,找到服務器卡頓的問題
1 性能優化
性能測試並不會降低cpu利用率.而應該是測試應用大多數的時間花費在哪裏,對這部分進行優化.
優化任務的執行時間,應該測試定位不同的子任務花費的時間,然後通過:
- 優化花費時間多的子任務
- 降低子任務的執行頻率
2 性能剖析
1.1 通過性能剖析優化
性能剖析是測量和分析任務的時間花費在哪裏的主要辦法,通常步驟為:
- 測試任務所花費的時間
- 對結果進行統計和排序,將重要的任務排到前面
在任務開始時啟動計時器,在任務結束時停止計時器,然後用結束時間減去啟動時間得到響應時間.通過工具進行記錄,並統計.
有兩種性能剖析:基於執行時間的分析和基於等待時間的分析.當基於執行時間分析是發現任務需要花費太多時間的時候,可以去分析一下,這些執行時間,中是否大部分是在等待(阻塞).
引起性能瓶頸的因素有:
- 外部資源,比如調用了外部服務器
- 需要處理大量數據
- 循環中執行昂貴操作
- 使用低效的算法
性能剖析會導致應用慢一點.
3 剖析MySQL查詢
3.1 剖析服務器荷載
服務器端可以有效的審計效率低效的查詢.降低服務器的整體壓力.
mysql中,慢查詢日誌是開銷最低,精度最高的測量語句執行時間的工具,可以通過設置long_query_time=0來捕獲所有的查詢.開啟慢查詢日誌會帶來部分開銷.
和慢查詢日誌有關的命令:
查看慢查詢日誌的開啟狀態,和日誌的輸出文件:SHOW VARIABLES LIKE ‘slow_query%‘;
將 slow_query_log全局變量設置為“ON”狀態?:SET GLOBAL slow_query_log=‘ON‘;?
設置慢查詢日誌存放的位置SET GLOBAL slow_query_log_file=‘path‘;
查詢超過1秒就記錄SET GLOBAL long_query_time=1;
查看記錄的慢查詢語句:SHOW VARIABLES LIKE ‘log_slow_queries‘;
上面的方法只是臨時生效，mysql重啟後就會失效,編輯配置文件/etc/my.cnf加入如下內容
[mysqld]
slow_query_log = ON
slow_query_log_file = /var/lib/mysql/test-10-226-slow.log
long_query_time = 1修改配置後重啟mysql,systemctl restart mysqld,可永久生效.
mysql中,通用日誌,在查詢請求到達服務器的時候進行記錄.記錄建立的客戶端連接和執行的語句
當mysql權限不足的時候,可以通過下面的方式來查詢:
- 不斷的執行
SHOW FULL PROCESSLIST - 通過對tcp抓包,再分析.極少這樣做.
3.1.1 pt-query-digest
tp-query-digest 是 Percona Toolkit 的其中一個工具,官網
見MySQL 采用Xtrabackupex進行全庫備份過程匯總
3.2 剖析單條查詢
通過慢查詢日誌定位到需要優化的單條查詢之後,可以確定為什麽該條語句為什麽需要長時間的執行,以及如何去優化.
3.2.1 SHOW PROFILE系列
該功能是5.1以後加入的,在5.6以後使用PERFORMANCE_SCHEMA代替了.
服務器上所有執行的語句,都測量其消耗的時間和其他一些查詢狀態相關的數據,也就是說,當一條查詢交給服務器的時候,此工具會記錄剖析的信息到一張臨時表上,並且給每條查詢一個從1開始整數標識符.
SET profiling=1打開該功能.(這裏使用mycli工具)
首先執行一些查詢:
使用SHOW PROFILES;查看所有的之前所有執行過的語句.
然後使用SHOW PROFILE FOR QUERY 2,顯示和第二條執行有關的時間.
如果直接使用SHOW PROFILE顯示的是上一條執行的信息.
這些信息都INFORMATION_SCHEMA.PROFILING中,使用SELECT * FROM INFORMATION_SCHEMA.PROFILING \G;(因為表格很長,所以使用\G)
3.2.2 SHOW STATUS系列
SHOW STATUS並不是一款剖析工具,其大部分的結果都是一個計數器.可以顯示默寫活動的頻繁程度,但是無法給出消耗了多少時間.並且大多數是全局級別的.
`SHOW STATUS;會穿件一張臨時表.
3.2.3 performance schema
5.5 中增加的performance schema,默認是打開的:
見MySQL5.6 PERFORMANCE_SCHEMA 說明
3.2.4 EXPLAIN
見MySQL定位查詢效率較慢的SQL語句
4 間歇性問題
間歇性的問題,比如系統偶爾停頓或是慢查詢(比如一條指令絕大多數情況下順利執行,但是極少數執行時間很長),很難診斷.而且無法確認如何重現.
可能的情況為:
- 使用了外部資源
- 緩存中條目過期,緩存崩潰等緩存問題.
- DNS查詢
- 互斥鎖爭用
- 並發量超多某個閾值是,innodb擴展性限制導致
當出現問題的時候需要判斷是單條查詢的問題還是服務器的問題:
4.1 SHOW GLOBAL STATUS
可以不斷的執行SHOW GLOBAL STATUS;來捕獲數據.
5 一個診斷案列
6 其他剖析工具
7 mysql服務器配置
[client]
port = 3306
socket = /tmp/mysql.sock
[mysqld]
port = 3306
socket = /tmp/mysql.sock
basedir = /usr/local/mysql
datadir = /data/mysql
pid-file = /data/mysql/mysql.pid
user = mysql
bind-address = 0.0.0.0
server-id = 1 #表示是本機的序號為1,一般來講就是master的意思
skip-name-resolve
# 禁止MySQL對外部連接進行DNS解析，使用這一選項可以消除MySQL進行DNS解析的時間。但需要註意，如果開啟該選項，
# 則所有遠程主機連接授權都要使用IP地址方式，否則MySQL將無法正常處理連接請求
#skip-networking
back_log = 600
# MySQL能有的連接數量。當主要MySQL線程在一個很短時間內得到非常多的連接請求，這就起作用，
# 然後主線程花些時間(盡管很短)檢查連接並且啟動一個新線程。back_log值指出在MySQL暫時停止回答新請求之前的短時間內多少個請求可以被存在堆棧中。
# 如果期望在一個短時間內有很多連接，你需要增加它。也就是說，如果MySQL的連接數據達到max_connections時，新來的請求將會被存在堆棧中，
# 以等待某一連接釋放資源，該堆棧的數量即back_log，如果等待連接的數量超過back_log，將不被授予連接資源。
# 另外，這值（back_log）限於您的操作系統對到來的TCP/IP連接的偵聽隊列的大小。
# 你的操作系統在這個隊列大小上有它自己的限制（可以檢查你的OS文檔找出這個變量的最大值），試圖設定back_log高於你的操作系統的限制將是無效的。
max_connections = 1000
# MySQL的最大連接數，如果服務器的並發連接請求量比較大，建議調高此值，以增加並行連接數量，當然這建立在機器能支撐的情況下，因為如果連接數越多，介於MySQL會為每個連接提供連接緩沖區，就會開銷越多的內存，所以要適當調整該值，不能盲目提高設值。可以過'conn%'通配符查看當前狀態的連接數量，以定奪該值的大小。
max_connect_errors = 6000
# 對於同一主機，如果有超出該參數值個數的中斷錯誤連接，則該主機將被禁止連接。如需對該主機進行解禁，執行：FLUSH HOST。
open_files_limit = 65535
# MySQL打開的文件描述符限制，默認最小1024;當open_files_limit沒有被配置的時候，比較max_connections*5和ulimit -n的值，哪個大用哪個，
# 當open_file_limit被配置的時候，比較open_files_limit和max_connections*5的值，哪個大用哪個。
table_open_cache = 128
# MySQL每打開一個表，都會讀入一些數據到table_open_cache緩存中，當MySQL在這個緩存中找不到相應信息時，才會去磁盤上讀取。默認值64
# 假定系統有200個並發連接，則需將此參數設置為200*N(N為每個連接所需的文件描述符數目)；
# 當把table_open_cache設置為很大時，如果系統處理不了那麽多文件描述符，那麽就會出現客戶端失效，連接不上
max_allowed_packet = 4M
# 接受的數據包大小；增加該變量的值十分安全，這是因為僅當需要時才會分配額外內存。例如，僅當你發出長查詢或MySQLd必須返回大的結果行時MySQLd才會分配更多內存。
# 該變量之所以取較小默認值是一種預防措施，以捕獲客戶端和服務器之間的錯誤信息包，並確保不會因偶然使用大的信息包而導致內存溢出。
binlog_cache_size = 1M
# 一個事務，在沒有提交的時候，產生的日誌，記錄到Cache中；等到事務提交需要提交的時候，則把日誌持久化到磁盤。默認binlog_cache_size大小32K
max_heap_table_size = 8M
# 定義了用戶可以創建的內存表(memory table)的大小。這個值用來計算內存表的最大行數值。這個變量支持動態改變
tmp_table_size = 16M
# MySQL的heap（堆積）表緩沖大小。所有聯合在一個DML指令內完成，並且大多數聯合甚至可以不用臨時表即可以完成。
# 大多數臨時表是基於內存的(HEAP)表。具有大的記錄長度的臨時表 (所有列的長度的和)或包含BLOB列的表存儲在硬盤上。
# 如果某個內部heap（堆積）表大小超過tmp_table_size，MySQL可以根據需要自動將內存中的heap表改為基於硬盤的MyISAM表。還可以通過設置tmp_table_size選項來增加臨時表的大小。也就是說，如果調高該值，MySQL同時將增加heap表的大小，可達到提高聯接查詢速度的效果
read_buffer_size = 2M
# MySQL讀入緩沖區大小。對表進行順序掃描的請求將分配一個讀入緩沖區，MySQL會為它分配一段內存緩沖區。read_buffer_size變量控制這一緩沖區的大小。
# 如果對表的順序掃描請求非常頻繁，並且你認為頻繁掃描進行得太慢，可以通過增加該變量值以及內存緩沖區大小提高其性能
read_rnd_buffer_size = 8M
# MySQL的隨機讀緩沖區大小。當按任意順序讀取行時(例如，按照排序順序)，將分配一個隨機讀緩存區。進行排序查詢時，
# MySQL會首先掃描一遍該緩沖，以避免磁盤搜索，提高查詢速度，如果需要排序大量數據，可適當調高該值。但MySQL會為每個客戶連接發放該緩沖空間，所以應盡量適當設置該值，以避免內存開銷過大
sort_buffer_size = 8M
# MySQL執行排序使用的緩沖大小。如果想要增加ORDER BY的速度，首先看是否可以讓MySQL使用索引而不是額外的排序階段。
# 如果不能，可以嘗試增加sort_buffer_size變量的大小
join_buffer_size = 8M
# 聯合查詢操作所能使用的緩沖區大小，和sort_buffer_size一樣，該參數對應的分配內存也是每連接獨享
thread_cache_size = 8
# 這個值（默認8）表示可以重新利用保存在緩存中線程的數量，當斷開連接時如果緩存中還有空間，那麽客戶端的線程將被放到緩存中，
# 如果線程重新被請求，那麽請求將從緩存中讀取,如果緩存中是空的或者是新的請求，那麽這個線程將被重新創建,如果有很多新的線程，
# 增加這個值可以改善系統性能.通過比較Connections和Threads_created狀態的變量，可以看到這個變量的作用。(–>表示要調整的值)
# 根據物理內存設置規則如下：
# 1G —> 8
# 2G —> 16
# 3G —> 32
# 大於3G —> 64
query_cache_size = 8M
#MySQL的查詢緩沖大小（從4.0.1開始，MySQL提供了查詢緩沖機制）使用查詢緩沖，MySQL將SELECT語句和查詢結果存放在緩沖區中，
# 今後對於同樣的SELECT語句（區分大小寫），將直接從緩沖區中讀取結果。根據MySQL用戶手冊，使用查詢緩沖最多可以達到238%的效率。
# 通過檢查狀態值'Qcache_%'，可以知道query_cache_size設置是否合理：如果Qcache_lowmem_prunes的值非常大，則表明經常出現緩沖不夠的情況，
# 如果Qcache_hits的值也非常大，則表明查詢緩沖使用非常頻繁，此時需要增加緩沖大小；如果Qcache_hits的值不大，則表明你的查詢重復率很低，
# 這種情況下使用查詢緩沖反而會影響效率，那麽可以考慮不用查詢緩沖。此外，在SELECT語句中加入SQL_NO_CACHE可以明確表示不使用查詢緩沖
query_cache_limit = 2M
#指定單個查詢能夠使用的緩沖區大小，默認1M
key_buffer_size = 4M
#指定用於索引的緩沖區大小，增加它可得到更好處理的索引(對所有讀和多重寫)，到你能負擔得起那樣多。如果你使它太大，
# 系統將開始換頁並且真的變慢了。對於內存在4GB左右的服務器該參數可設置為384M或512M。通過檢查狀態值Key_read_requests和Key_reads，
# 可以知道key_buffer_size設置是否合理。比例key_reads/key_read_requests應該盡可能的低，
# 至少是1:100，1:1000更好(上述狀態值可以使用SHOW STATUS LIKE 'key_read%'獲得)。註意：該參數值設置的過大反而會是服務器整體效率降低
ft_min_word_len = 4
# 分詞詞匯最小長度，默認4
transaction_isolation = REPEATABLE-READ
# MySQL支持4種事務隔離級別，他們分別是：
# READ-UNCOMMITTED, READ-COMMITTED, REPEATABLE-READ, SERIALIZABLE.
# 如沒有指定，MySQL默認采用的是REPEATABLE-READ，ORACLE默認的是READ-COMMITTED
log_bin = mysql-bin
binlog_format = mixed
expire_logs_days = 30 #超過30天的binlog刪除
log_error = /data/mysql/mysql-error.log #錯誤日誌路徑
slow_query_log = 1
long_query_time = 1 #慢查詢時間 超過1秒則為慢查詢
slow_query_log_file = /data/mysql/mysql-slow.log
performance_schema = 0
explicit_defaults_for_timestamp
#lower_case_table_names = 1 #不區分大小寫
skip-external-locking #MySQL選項以避免外部鎖定。該選項默認開啟
default-storage-engine = InnoDB #默認存儲引擎
innodb_file_per_table = 1
# InnoDB為獨立表空間模式，每個數據庫的每個表都會生成一個數據空間
# 獨立表空間優點：
# 1．每個表都有自已獨立的表空間。
# 2．每個表的數據和索引都會存在自已的表空間中。
# 3．可以實現單表在不同的數據庫中移動。
# 4．空間可以回收（除drop table操作處，表空不能自已回收）
# 缺點：
# 單表增加過大，如超過100G
# 結論：
# 共享表空間在Insert操作上少有優勢。其它都沒獨立表空間表現好。當啟用獨立表空間時，請合理調整：innodb_open_files
innodb_open_files = 500
# 限制Innodb能打開的表的數據，如果庫裏的表特別多的情況，請增加這個。這個值默認是300
innodb_buffer_pool_size = 64M
# InnoDB使用一個緩沖池來保存索引和原始數據, 不像MyISAM.
# 這裏你設置越大,你在存取表裏面數據時所需要的磁盤I/O越少.
# 在一個獨立使用的數據庫服務器上,你可以設置這個變量到服務器物理內存大小的80%
# 不要設置過大,否則,由於物理內存的競爭可能導致操作系統的換頁顛簸.
# 註意在32位系統上你每個進程可能被限制在 2-3.5G 用戶層面內存限制,
# 所以不要設置的太高.
innodb_write_io_threads = 4
innodb_read_io_threads = 4
# innodb使用後臺線程處理數據頁上的讀寫 I/O(輸入輸出)請求,根據你的 CPU 核數來更改,默認是4
# 註:這兩個參數不支持動態改變,需要把該參數加入到my.cnf裏，修改完後重啟MySQL服務,允許值的範圍從 1-64
innodb_thread_concurrency = 0
# 默認設置為 0,表示不限制並發數，這裏推薦設置為0，更好去發揮CPU多核處理能力，提高並發量
innodb_purge_threads = 1
# InnoDB中的清除操作是一類定期回收無用數據的操作。在之前的幾個版本中，清除操作是主線程的一部分，這意味著運行時它可能會堵塞其它的數據庫操作。
# 從MySQL5.5.X版本開始，該操作運行於獨立的線程中,並支持更多的並發數。用戶可通過設置innodb_purge_threads配置參數來選擇清除操作是否使用單
# 獨線程,默認情況下參數設置為0(不使用單獨線程),設置為 1 時表示使用單獨的清除線程。建議為1
innodb_flush_log_at_trx_commit = 2
# 0：如果innodb_flush_log_at_trx_commit的值為0,log buffer每秒就會被刷寫日誌文件到磁盤，提交事務的時候不做任何操作（執行是由mysql的master thread線程來執行的。
# 主線程中每秒會將重做日誌緩沖寫入磁盤的重做日誌文件(REDO LOG)中。不論事務是否已經提交）默認的日誌文件是ib_logfile0,ib_logfile1
# 1：當設為默認值1的時候，每次提交事務的時候，都會將log buffer刷寫到日誌。
# 2：如果設為2,每次提交事務都會寫日誌，但並不會執行刷的操作。每秒定時會刷到日誌文件。要註意的是，並不能保證100%每秒一定都會刷到磁盤，這要取決於進程的調度。
# 每次事務提交的時候將數據寫入事務日誌，而這裏的寫入僅是調用了文件系統的寫入操作，而文件系統是有 緩存的，所以這個寫入並不能保證數據已經寫入到物理磁盤
# 默認值1是為了保證完整的ACID。當然，你可以將這個配置項設為1以外的值來換取更高的性能，但是在系統崩潰的時候，你將會丟失1秒的數據。
# 設為0的話，mysqld進程崩潰的時候，就會丟失最後1秒的事務。設為2,只有在操作系統崩潰或者斷電的時候才會丟失最後1秒的數據。InnoDB在做恢復的時候會忽略這個值。
# 總結
# 設為1當然是最安全的，但性能頁是最差的（相對其他兩個參數而言，但不是不能接受）。如果對數據一致性和完整性要求不高，完全可以設為2，如果只最求性能，例如高並發寫的日誌服務器，設為0來獲得更高性能
innodb_log_buffer_size = 2M
# 此參數確定些日誌文件所用的內存大小，以M為單位。緩沖區更大能提高性能，但意外的故障將會丟失數據。MySQL開發人員建議設置為1－8M之間
innodb_log_file_size = 32M
# 此參數確定數據日誌文件的大小，更大的設置可以提高性能，但也會增加恢復故障數據庫所需的時間
innodb_log_files_in_group = 3
# 為提高性能，MySQL可以以循環方式將日誌文件寫到多個文件。推薦設置為3
innodb_max_dirty_pages_pct = 90
# innodb主線程刷新緩存池中的數據，使臟數據比例小於90%
innodb_lock_wait_timeout = 120
# InnoDB事務在被回滾之前可以等待一個鎖定的超時秒數。InnoDB在它自己的鎖定表中自動檢測事務死鎖並且回滾事務。InnoDB用LOCK TABLES語句註意到鎖定設置。默認值是50秒
bulk_insert_buffer_size = 8M
# 批量插入緩存大小， 這個參數是針對MyISAM存儲引擎來說的。適用於在一次性插入100-1000+條記錄時， 提高效率。默認值是8M。可以針對數據量的大小，翻倍增加。
myisam_sort_buffer_size = 8M
# MyISAM設置恢復表之時使用的緩沖區的尺寸，當在REPAIR TABLE或用CREATE INDEX創建索引或ALTER TABLE過程中排序 MyISAM索引分配的緩沖區
myisam_max_sort_file_size = 10G
# 如果臨時文件會變得超過索引，不要使用快速排序索引方法來創建一個索引。註釋：這個參數以字節的形式給出
myisam_repair_threads = 1
# 如果該值大於1，在Repair by sorting過程中並行創建MyISAM表索引(每個索引在自己的線程內)
interactive_timeout = 28800
# 服務器關閉交互式連接前等待活動的秒數。交互式客戶端定義為在mysql_real_connect()中使用CLIENT_INTERACTIVE選項的客戶端。默認值：28800秒（8小時）
wait_timeout = 28800
# 服務器關閉非交互連接之前等待活動的秒數。在線程啟動時，根據全局wait_timeout值或全局interactive_timeout值初始化會話wait_timeout值，
# 取決於客戶端類型(由mysql_real_connect()的連接選項CLIENT_INTERACTIVE定義)。參數默認值：28800秒（8小時）
# MySQL服務器所支持的最大連接數是有上限的，因為每個連接的建立都會消耗內存，因此我們希望客戶端在連接到MySQL Server處理完相應的操作後，
# 應該斷開連接並釋放占用的內存。如果你的MySQL Server有大量的閑置連接，他們不僅會白白消耗內存，而且如果連接一直在累加而不斷開，
# 最終肯定會達到MySQL Server的連接上限數，這會報'too many connections'的錯誤。對於wait_timeout的值設定，應該根據系統的運行情況來判斷。
# 在系統運行一段時間後，可以通過show processlist命令查看當前系統的連接狀態，如果發現有大量的sleep狀態的連接進程，則說明該參數設置的過大，
# 可以進行適當的調整小些。要同時設置interactive_timeout和wait_timeout才會生效。
[mysqldump]
quick
max_allowed_packet = 16M #服務器發送和接受的最大包長度
[myisamchk]
key_buffer_size = 8M
sort_buffer_size = 8M
read_buffer = 4M
write_buffer = 4M?
第03章 服務器細性能剖析