1. 程式人生 > >生產要不要開啟MySQL查詢快取

生產要不要開啟MySQL查詢快取

一、前言 在當今的各種系統中,快取是對系統性能優化的重要手段。MySQL Query Cache(MySQL查詢快取)在MySQL Server中是預設開啟的,但是網上各種資料以及有經驗的DBA都建議生產環境中把MySQL Query Cache關閉。按道理,MySQL Server預設開啟,是鼓勵使用者使用快取,但是大拿們卻建議關閉此功能,並且國內各個雲廠商提供的MySQL雲服務中預設都是關閉這個功能,這是為什麼?他們在使用中遇到了什麼坑?本文將會從以下幾方面來詳解MySQL Query Cache。 1.MySQL查詢快取是什麼? 2. MySQL快取規則是什麼? 3. 如何配置和快取MySQL快取 4. MySQL快取的優缺點 5. 生產要不要開啟MySQL快取 二、 MySQL查詢快取簡介 MySQL查詢快取是MySQL中比較獨特的一個快取區域,用來快取特定Query的整個結果集資訊,且共享給所有客戶端。為了提高完全相同的Query語句的響應速度,MySQL Server會對查詢語句進行Hash計算後,把得到的hash值與Query查詢的結果集對應存放在Query Cache中。當MySQL Server開啟Query Cache之後,MySQL Server會對接收到的每一個SELECT 語句通過特定的Hash演算法計算該Query的Hash值,然後通過該hashi值到Query Cache中去匹配。 如果沒有匹配,將這個hash值存放在一個hash連結串列中,並將Query的結果集存放到cache中,存放hashi值連結串列的每個hash節點存放了相應Quey結果集在cache中的地址,以及該query所涉及到一些table相關資訊; 如果通過hash值匹配到了一樣的Query,則直接將cache中相應的Query結果集返回給客戶端。 目前MySQL Query Cache只會cache select語句,其他類似show ,use的語句不會被cache MySQL 的每個Query Cache都是以SQL文字作為key來儲存的,在應用Query Cache之前,SQL文字不會做任何處理。也就是說,兩個SQL語句,只要相差哪怕一個字元(例如大小寫不一樣,多一個空格,多註釋),那麼這兩個SQL將使用不同的Cache地址。如: 下面三條SQL將會被儲存在三個不同的快取裡,雖然他們的結果都是一樣的。select * FROM people where name='surfchen'; select * FROM people where /*hey~*/ name='surfchen'; SELECT * FROM people where name='surfchen'; 三、MySQL快取機制 MySQL快取機制簡單的說就是快取sql文字及查詢結果,如果執行相同的SQL,伺服器直接從快取中取到結果,而不需要再去解析和執行SQL。如果表更改了,那麼使用這個表的所有快取查詢將不再有效,查詢快取中值相關條目被清空。這裡的更改指的是表中任何資料或是結構發生改變,包括INSERT、UPDATE、 DELETE、TRUNCATE、ALTER TABLE、DROP TABLE或DROP DATABASE等,也包括那些對映到改變了的表使用MERGE表的查詢。顯然,這對於頻繁更新的表,查詢快取是不適合的,而對於一些不常改變資料且有大量相同SQL查詢的表,查詢快取會節約很大的效能。 查詢必須是完全相同(逐位元組相同)才能夠被認為是相同的。另外,同樣的查詢字串由於其它原因可能認為是不同的。使用不同的資料庫、不同的協議版本或者不同 預設字符集的查詢被認為是不同的查詢並且分別進行快取。 需要注意的是MySQL Query Cache 是對大小寫敏感的,因為Query Cache 在記憶體中是以 HASH 結構來進行對映,HASH 演算法基礎就是組成 SQL 語句的字元,所以 任何SQL語句的改變重新cache. 3.1 快取規則 開啟了快取,MySQL Server會自動將查詢語句和結果集返回到記憶體,下次再查直接從記憶體中取; 快取的結果是通過sessions共享的,所以一個client查詢的快取結果,另一個client也可以使用 MySQL Query Cache內容為 select 的結果集, cache 使用完整的SQL字串做 key, 並區分大小寫,空格等。即兩個SQL必須完全一致才會導致cache命中。即檢查查詢快取時,MySQL Server不會對SQL做任何處理,它精確的使用客戶端傳來的查詢,只要字元大小寫或註釋有點不同,查詢快取就認為是不同的查詢; prepared statement永遠不會cache到結果,即使引數完全一樣。在 5.1 之後會得到改善。 where條件中如包含任何一個不確定的函式將永遠不會被cache, 比如current_date, now等。 date 之類的函式如果返回是以小時或天級別的,最好先算出來再傳進去。 select * from foo where date1=current_date -- 不會被 cache select * from foo where date1='2008-12-30' -- 被cache, 正確的做法 太大的result set不會被cache (< query_cache_limit) MySQL快取在分庫分表環境下是不起作用的 執行SQL裡有觸發器,自定義函式時,MySQL快取也是不起作用的 3.2 快取失效 在表的結構或資料發生改變時,查詢快取中的資料不再有效。如INSERT、UPDATE、 DELETE、TRUNCATE、ALTER TABLE、DROP TABLE或DROP DATABASE會導致快取資料失效。所以查詢快取適合有大量相同查詢的應用,不適合有大量資料更新的應用。 一旦表資料進行任何一行的修改,基於該表相關cache立即全部失效。 3.3 手動清理快取手動清理快取可以使用下面三個SQL FLUSH QUERY CACHE; #清理查詢快取記憶體碎片 RESET QUERY CACHE;#從查詢快取中移除所有查詢 FLUSH TABLES; #關閉所有開啟的表,同時該操作會清空查詢快取中的內容 3.4 快取機制中的記憶體管理 MySQL Query Cache 使用記憶體池技術,自己管理記憶體釋放和分配,而不是通過作業系統。記憶體池使用的基本單位是變長的block, 用來儲存型別、大小、資料等資訊;一個result set的cache通過連結串列把這些block串起來。block最短長度為query_cache_min_res_unit。 當伺服器啟動的時候,會初始化快取需要的記憶體,是一個完整的空閒塊。當查詢結果需要快取的時候,先從空閒塊中申請一個數據塊為引數query_cache_min_res_unit配置的空間,即使快取資料很小,申請資料塊也是這個,因為查詢開始返回結果的時候就分配空間,此時無法預知結果多大。 分配記憶體塊需要先鎖住空間塊,所以操作很慢,MySQL會盡量避免這個操作,選擇儘可能小的記憶體塊,如果不夠,繼續申請,如果儲存完時有空餘則釋放多餘的。 但是如果併發的操作,餘下的需要回收的空間很小,小於query_cache_min_res_unit,不能再次被使用,就會產生碎片。如圖: 四、MySQL快取發揮作用的情況 1、查詢快取可以降低查詢執行的時間,但是卻不能減少查詢結果傳輸的網路消耗,如果網路傳輸消耗是整個查詢過程的主要瓶頸,那麼查詢快取的作用也很小。 2、對於那些需要消耗大量資源的查詢通常都是非常適合快取的,對於複雜的SELECT語句都可以使用查詢快取,不過需要注意的是,涉及表上的UPDATE、DELETE、INSERT操作相比SELECT來說要非常少才行。 3、查詢快取命中率:Qcache_hits/(Qcahce_hits+Com_select),查詢快取命中率多大才是好的命中率,需要具體情況具體分析。只要查詢快取帶來的效率提升大於查詢快取帶來的額外消耗,即使30%的命中率也是值得。另外,快取了哪些查詢也很重要,如果被快取的查詢本身消耗巨大,那麼即使快取命中率低,對系統性能提升仍然是有好處的。 4、任何SELECT語句沒有從查詢快取中返回都稱為“快取未命中”,以如下列情況: 查詢語句無法被快取,可能因為查詢中包含一個不確定的函式,或者查詢結果太大而無法快取。 MySQL從未處理這個查詢,所以結果也從不曾被快取過。 雖然之前快取了查詢結果,但由於查詢快取的記憶體用完了,MYSQL需要刪除某些快取,或者由於資料表被修改導致快取失效。 如果伺服器上有大量快取快取未命中,但是實際上絕大查詢都被快取了,那麼一定是有如下情況發生: 查詢快取還沒有完成預熱,即MySQL還沒有機會將查詢結果都快取起來。 查詢語句之前從未執行過。如果應用程式不會重複執行一條查詢語句,那麼即使完成預熱仍然會有很多快取未命中。 快取失效操作太多,快取碎片、記憶體不足、資料修改都會造成快取失效。可以通過引數Com_*來檢視資料修改的情況(包括Com_update,Com_delete等),還可以通過Qcache_lowmem_prunes來檢視有多少次失效是由於記憶體不足導致的。 5、有一個直觀的方法能夠反映查詢快取是否對系統有好處,推薦一個指標:”命中和寫入“的比率,即Qcache_hits和Qcache_inserts的比值。根據經驗來看,當這個比值大於3:1時通常查詢快取是有效的,如果能達到10:1最好。 6、通常可以通過觀察查詢快取記憶體的實際使用情況Qcache_free_memory,來確定是否需要縮小或者擴大查詢快取。 五、MySQL快取管理和配置 5.1 MySQL快取相關的配置引數 mysql> show variables like '%query_cache%'; +------------------------------+---------+ | Variable_name | Value | +------------------------------+---------+ | have_query_cache | YES | --查詢快取是否可用 | query_cache_limit | 1048576 | --可快取具體查詢結果的最大值 | query_cache_min_res_unit | 4096 | --查詢快取分配的最小塊的大小(位元組) | query_cache_size | 599040 | --查詢快取的大小 | query_cache_type | ON | --是否支援查詢快取 | query_cache_wlock_invalidate | OFF | --控制當有寫鎖加在表上的時候,是否先讓該表相關的 Query Cache失效 +------------------------------+---------+ 6 rows in set (0.02 sec) have_query_cache 該MySQL Server是否支援Query Cache。 query_cache_limit MySQL能夠快取的最大查詢結果,查詢結果大於該值時不會被快取。預設值是1048576(1MB)如果某個查詢的結果超出了這個值,Qcache_not_cached的值會加1,如果某個操作總是超出,可以考慮在SQL中加上SQL_NO_CACHE來避免額外的消耗。 query_cache_min_res_unit 查詢快取分配的最小塊的大小(位元組)。 預設值是4096(4KB)。當查詢進行的時候,MySQL把查詢結果儲存在qurey cache中,但如果要儲存的結果比較大,超過query_cache_min_res_unit的值 ,這時候mysql將一邊檢索結果,一邊進行儲存結果,所以,有時候並不是把所有結果全部得到後再進行一次性儲存,而是每次分配一塊query_cache_min_res_unit大小的記憶體空間儲存結果集,使用完後,接著再分配一個這樣的塊,如果還不不夠,接著再分配一個塊,依此類推,也就是說,有可能在一次查詢中,mysql要進行多次記憶體分配的操作。適當的調節query_cache_min_res_unit可以優化記憶體如果你的查詢結果都是一些small result,預設的query_cache_min_res_unit可能會造成大量的記憶體碎片如果你的查詢結果都是一些larger resule,你可以適當的把query_cache_min_res_unit調大 query_cache_size 為快取查詢結果分配的記憶體的數量,單位是位元組,且數值必須是1024的整數倍。預設值是0,即禁用查詢快取。請注意如果設定了該值,即使query_cache_type設定為0也將分配此數量的記憶體。 query_cache_type 設定查詢快取型別,預設為ON。設定GLOBAL值可以設定後面的所有客戶端連線的型別。客戶端可以設定SESSION值以影響他們自己對查詢快取的使用。下面的表顯示了可能的值: query_cache_wlock_invalidate 如果某個表被鎖住,是否返回快取中的資料,預設關閉,也是建議的。一般情況,當客戶端對MyISAM表進行WRITE鎖定時,如果查詢結果位於查詢快取中,則其它客戶端未被鎖定,可以對該表進行查詢。將該變數設定為1,則可以對錶進行WRITE鎖定,使查詢快取內所有對該表進行的查詢變得非法。這樣當鎖定生效時,可以強制其它試圖訪問表的客戶端來等待。 5.2 開啟關閉快取 開啟快取 mysql> set global query_cache_size = 600000; --設定快取記憶體大小 mysql> set global query_cache_type = ON; --開啟查詢快取 關閉快取 mysql> set global query_cache_size = 0; --設定快取記憶體大小為0, 即初始化是不分配快取記憶體 mysql> set global query_cache_type = OFF; --關閉查詢快取 set global時需要有SUPER許可權 六、MySQL Query Cache對效能的影響 6.1 MySQL Query Cache的額外開銷 如上圖所示: 在MySQL Server中開啟Query Cache對資料庫的讀和寫都會帶來額外的消耗: 1) 讀查詢開始之前必須檢查是否命中快取。 2) 如果讀查詢可以快取,那麼執行完查詢操作後,會查詢結果和查詢語句寫入快取。 3) 當向某個表寫入資料的時候,必須將這個表所有的快取設定為失效,如果快取空間很大,則消耗也會很大,可能使系統僵死一段時間,因為這個操作是靠全域性鎖操作來保護的。 4) 對InnoDB表,當修改一個表時,設定了快取失效,但是多版本特性會暫時將這修改對其他事務遮蔽,在這個事務提交之前,所有查詢都無法使用快取,直到這個事務被提交,所以長時間的事務,會大大降低查詢快取的命中 6.2 MySQL Query Cache碎片優化 如上圖所示, 沒有什麼辦法能夠完全避免碎片,但是選擇合適的query_cache_min_res_unit可以幫你減少由碎片導致的記憶體空間浪費。這個值太小,則浪費的空間更少,但是會導致頻繁的記憶體塊申請操作;如果設定得太大,那麼碎片會很多。調整合適的值其實是在平衡記憶體浪費和CPU消耗。可以通過記憶體實際消耗(query_cache_size - Qcache_free_memory)除以Qcache_queries_in_cahce計算單個查詢的平均快取大小。可以通過Qcahce_free_blocks來觀察碎片。 通過FLUSH_QUERY_CAHCE完成碎片整理,這個命令將所有的查詢快取重新排序,並將所有的空閒空間都聚焦到查詢快取的一塊區域上。 6.3 MySQL快取狀態檢視 mysql> SHOW STATUS LIKE 'Qcache%'; +-------------------------+--------+ | Variable_name | Value | +-------------------------+--------+ | Qcache_free_blocks | 1 | ----在查詢快取中的閒置塊,如果該值比較大,則說明Query Cache中的記憶體碎片可能比較多。FLUSH QUERY CACHE會對快取中的碎片進行整理,從而得到一個較大的空閒記憶體塊。 | Qcache_free_memory | 382704 | ----剩餘快取的大小 | Qcache_hits | 198 | ----快取命中次數 | Qcache_inserts | 131 | ----快取被插入的次數,也就是查詢沒有命中的次數。 | Qcache_lowmem_prunes | 0 | ----由於記憶體低而被刪除掉的快取條數,如果這個數值在不斷增長,那麼一般是Query Cache的空閒記憶體不足(通過Qcache_free_memory判斷),或者記憶體碎片較嚴重(通過Qcache_free_blocks判斷)。 | Qcache_not_cached | 169 | ----沒有被快取的條數,有三種情況會導致查詢結果不會被快取:其一,由於query_cache_type的設定;其二,查詢不是SELECT語句;其三,使用了now()之類的函式,導致查詢語句一直在變化。 | Qcache_queries_in_cache | 128 | ----快取中有多少條查詢語句 | Qcache_total_blocks | 281 | ----總塊數 +-------------------------+--------+ 8 rows in set (0.00 sec) 6.4 Query Cache碎片率Query Cache碎片率 = Qcache_free_blocks / Qcache_total_blocks * 100% 如果Query Cache碎片率超過20%,則可以用FLUSH QUERY CACHE整理記憶體碎片;如果你的查詢都是小資料量的話,可以嘗試減小query_cache_min_res_unit。 6.5 Query Cache利用率Query Cache利用率 = (query_cache_size - Qcache_free_memory) / query_cache_size * 100% Query Cache利用率在25%以下的話,說明query_cache_size設定的過大,可適當減小;Query Cache利用率在80%以上,而且Qcache_lowmem_prunes > 50的話,說明query_cache_size可能有點小,或者就是記憶體碎片太多。 6.6 Query Cache命中率 可快取查詢的Query Cache命中率 = Qcache_hits / (Qcache_hits + Qcache_inserts) * 100% 涵蓋所有查詢的Query Cache命中率 = Qcache_hits / (Qcache_hits + Com_select) * 100% 若命中率在50-70%的範圍之內,則表明Query Cache的快取效率較高。如果命中率明顯小於50%,那麼建議禁用(將query_cache_type設定為0(OFF))或按需使用(將query_cache_type設定為2(DEMAND))Query Cache,節省的記憶體可以用作InnoDB的緩衝池。 6.7 如何判斷Query Cache是空閒記憶體不足,還是記憶體碎片太多?如果Qcache_lowmem_prunes值比較大,表示Query Cache的記憶體空間大小設定太小,需要增大。 如果Qcache_free_blocks值比較大,表示記憶體碎片較多,需要使用FLUSH QUERY CACHE語句清理記憶體碎片。 6.8 系統變數query_cache_min_res_unit應當設定為多大?query_cache_min_res_unit的計算公式如下所示: query_cache_min_res_unit = (query_cache_size - Qcache_free_memory) / Qcache_queries_in_cache 其中,一般不建議將Query Cache的大小(也就是query_cache_size系統變數)設定超過256MB。 七、MySQL Query Cache優缺點 7.1. 優點Query Cache的查詢,發生在MySQL接收到客戶端的查詢請求、查詢許可權驗證之後和查詢SQL解析之前。也就是說,當MySQL接收到客戶端的查詢SQL之後,僅僅只需要對其進行相應的許可權驗證之後,就會通過Query Cache來查詢結果,甚至都不需要經過Optimizer模組進行執行計劃的分析優化,更不需要發生任何儲存引擎的互動。由於Query Cache是基於記憶體的,直接從記憶體中返回相應的查詢結果,因此減少了大量的磁碟I/O和CPU計算,導致效率非常高。 7.2. 缺點Query Cache的優點很明顯,但是也不能忽略它所帶來的一些缺點: 查詢語句的hash計算和hash查詢帶來的資源消耗。如果將query_cache_type設定為1(也就是ON),那麼MySQL會對每條接收到的SELECT型別的查詢進行hash計算,然後查詢這個查詢的快取結果是否存在。雖然hash計算和查詢的效率已經足夠高了,一條查詢語句所帶來的開銷可以忽略,但一旦涉及到高併發,有成千上萬條查詢語句時,hash計算和查詢所帶來的開銷就必須重視了。 Query Cache的失效問題。如果表的變更比較頻繁,則會造成Query Cache的失效率非常高。表的變更不僅僅指表中的資料發生變化,還包括表結構或者索引的任何變化。 查詢語句不同,但查詢結果相同的查詢都會被快取,這樣便會造成記憶體資源的過度消耗。查詢語句的字元大小寫、空格或者註釋的不同,Query Cache都會認為是不同的查詢(因為他們的hash值會不同)。 相關係統變數設定不合理會造成大量的記憶體碎片,這樣便會導致Query Cache頻繁清理記憶體。 八、 生產如何設定MySQL Query Cache MySQL中的Query Cache是一個適用較少情況的快取機制。如上圖所示,如果快取命中率非常高的話,有測試表明在極端情況下可以提高效率238%。但實際情況如何?Query Cache有如下規則,如果資料表被更改,那麼和這個資料表相關的全部Cache全部都會無效,並刪除之。這裡“資料表更改”包括: INSERT, UPDATE, DELETE, TRUNCATE, ALTER TABLE, DROP TABLE, or DROP DATABASE等。舉個例子,如果資料表posts訪問頻繁,那麼意味著它的很多資料會被QC快取起來,但是每一次posts資料表的更新,無論更新是不是影響到了cache的資料,都會將全部和posts表相關的cache清除。如果你的資料表更新頻繁的話,那麼Query Cache將會成為系統的負擔。有實驗表明,糟糕時,QC會降低系統13%的處理能力。 如果你的應用對資料庫的更新很少,那麼QC將會作用顯著。比較典型的如部落格系統,一般部落格更新相對較慢,資料表相對穩定不變,這時候QC的作用會比較明顯。 但是一個更新頻繁的BBS系統。下面是一個實際執行的論壇資料庫的狀態引數:QCache_hit 5280438QCache_insert 8008948Qcache_not_cache 95372Com select 8104159可以看到,資料庫一共往Query Cache中寫入了約800W次快取,但是實際命中的只有約500W次。也就是說,每一個快取的使用率約為0.66次。很難說,該快取的作用是否大於Query Cache系統所帶來的開銷。但是有一點是很肯定的,Query Cache快取的作用是很微小的,如果應用層能夠實現快取,將可以忽略Query Cache的效果。 所以,如果經常有更新的系統,想要獲得較高tps的話,建議一開始就關閉Query Cache 九、 查詢快取的替代方案MySQL查詢快取工作的原則是:執行查詢最快的方式就是不去執行,但是查詢仍然需要傳送到伺服器端,伺服器也還需要做一點點工作,如果對於某些查詢完全不需要與伺服器通訊效果會如何呢,這時客戶端快取可以很大程度上分擔MySQL伺服器的