MySQL進階系列:join連線的原理-3種演算法
“我們經常在多表查詢的時候使用join 去連線多個表,其實join的效率比不好還是應該儘量避免使用的,其本質就是各個表之間迴圈匹配的,MySQL中只支援一種join演算法Nested-Loop Join(迴圈巢狀連線),但是其有多種變種的演算法提高join的執行效率。”
1. Simple Nested-Loop Join(SNL,簡單巢狀迴圈連線)
Simple Nested-Loop join(NLJ)演算法從迴圈中的第一個表中一次讀取一行,將每一行傳遞給一個巢狀迴圈,該巢狀迴圈中匹配資料是否一致。例如驅動表User,被驅動表UserInfo 的sql是 select * from User u left join User_info info on u.id = info.user_id
for(User u:Users){ for(UserInfo info:UserInfos){ if(u.id == info.userId){ // 得到匹配資料 } } }
簡單粗暴的演算法,每次從User表中取出一條資料,然後掃描User_info中的所有記錄匹配,最後合併資料返回。
假如驅動表User有10條資料,被驅動表UserInfo也有10條資料,那麼實際上驅動表User會被掃描10次,而被驅動表會被掃描10*10=100次(每掃描一次驅動表,就會掃描全部的被驅動表),這種效率是很低的,對資料庫的開銷比較大,尤其是被驅動表。每一次掃描其實就是從硬碟中讀取資料載入到記憶體中,也就是一次IO,目前IO是最大的瓶頸
2. Index Nested-Loop Join(INL,索引巢狀迴圈連線)
索引巢狀迴圈是使用索引減少掃描的次數來提高效率的,所以要求非驅動表上必須有索引才行。
在查詢的時候,驅動表(User) 會根據關聯欄位的索引進行查詢,當索引上找到符合的值,才會進行回表查詢。如果非驅動表(User_info)的關聯欄位(user_id)是主鍵的話,查詢效率會非常高(主鍵索引結構的葉子結點包含了完整的行資料(InnoDB)),如果不是主鍵,每次匹配到索引後都需要進行一次回表查詢(根據二級索引(非主鍵索引)的主鍵ID進行回表查詢),效能肯定弱於主鍵的查詢。
上圖中的索引查詢之後不一定會回表,什麼情況下會回表,這個要看索引查詢到的欄位能不能滿足查詢需要的欄位,
索引相關的具體可以參考之前的文章:你需要知道的一些索引基礎知識 和 B+樹的索引知識。
3. Block Nested-Loop Join(BNL,塊巢狀迴圈連線)
如果存在索引,那麼會使用index的方式進行join,如果join的列沒有索引,被驅動表要掃描的次數太多了,每次訪問被驅動表,其表中的記錄都會被載入到記憶體中,然後再從驅動表中取一條與其匹配,匹配結束後清除記憶體,然後再從驅動表中載入一條記錄 然後把被驅動表的記錄在載入到記憶體匹配,這樣周而復始,大大增加了IO的次數。為了減少被驅動表的IO次數,就出現了Block Nested-Loop Join的方式。
不再是逐條獲取驅動表的資料,而是一塊一塊的獲取,引入了join buffer緩衝區,將驅動表join相關的部分資料列(大小是join buffer的限制)快取到join buffer中,然後全表掃描被驅動表,被驅動表的每一條記錄一次性和join buffer中的所有驅動表記錄進行匹配(記憶體中操作),將簡單巢狀迴圈中的多次比較合併成一次,降低了被驅動表的訪問頻率。
驅動表能不能一次載入完,要看join buffer能不能儲存所有的資料,預設情況下join_buffer_size=256k
,查詢的時候Join Buffer 會快取所有參與查詢的列而不是隻有join關聯的列,在一個有N個join關聯的sql中會分配N-1個join buffer。所以查詢的時候儘量減少不必要的欄位,可以讓join buffer中可以存放更多的列。
可以調整join_buffer_size的快取大小show variables like '%join_buffer%'
這個值可以根據實際情況更改。
使用Block Nested-Loop Join演算法需要開啟優化器管理配置的optimizer_switch的設定block_nested_loop為on,預設是開啟的。可以通過 show variables like '%optimizer_switch%'
檢視block_nested_loop
狀態。
以上三種演算法瞭解即可,其實實際工作中只要我們能都用好索引就不錯了,即使是join的連線也要注意關聯欄位是否建立索引,還是要善於使用索引來提供查詢效率。
關注不迷路
MySQL高階相關更多內容,如事務,鎖,MVCC,讀寫分離,分庫分表等還在持續更新中,歡迎關注催更。
我是阿紀,用輸出倒逼輸入而持續學習,持續分享技術系列文章,以及全網值得收藏好文,歡迎關注公眾號,做一個持續成長的技術人。