1. 程式人生 > >【58沈劍 架構師之路】InnoDB併發如此高,原因竟然在這?

【58沈劍 架構師之路】InnoDB併發如此高,原因竟然在這?

一、併發控制

為啥要進行併發控制?

併發的任務對同一個臨界資源進行操作,如果不採取措施,可能導致不一致,故必須進行併發控制(Concurrency Control)。

 

技術上,通常如何進行併發控制?

通過併發控制保證資料一致性的常見手段有:

  • 鎖(Locking)

  • 資料多版本(Multi Versioning)

 

二、鎖

如何使用普通鎖保證一致性?

普通鎖,被使用最多:

(1)操作資料前,鎖住,實施互斥,不允許其他的併發任務操作;

(2)操作完成後,釋放鎖,讓其他任務執行;

如此這般,來保證一致性。

 

普通鎖存在什麼問題?

簡單的鎖住太過粗暴,連“讀任務”也無法並行,任務執行過程本質上是序列的。

 

於是出現了共享鎖排他鎖

  • 共享鎖(Share Locks,記為S鎖),讀取資料時加S鎖

  • 排他鎖(eXclusive Locks,記為X鎖),修改資料時加X鎖

 

共享鎖與排他鎖的玩法是:

  • 共享鎖之間不互斥,簡記為:讀讀可以並行

  • 排他鎖與任何鎖互斥,簡記為:寫讀,寫寫不可以並行

 

可以看到,一旦寫資料的任務沒有完成,資料是不能被其他任務讀取的,這對併發度有較大的影響。

畫外音:對應到資料庫,可以理解為,寫事務沒有提交,讀相關資料的select也會被阻塞。

 

有沒有可能,進一步提高併發呢?

即使寫任務沒有完成,其他讀任務也可能併發,這就引出了資料多版本。

 

三、資料多版本

資料多版本是一種能夠進一步提高併發的方法,它的核心原理是:

(1)寫任務發生時,將資料克隆一份,以版本號區分;

(2)寫任務操作新克隆的資料,直至提交;

(3)併發讀任務可以繼續讀取舊版本的資料,不至於阻塞;

如上圖:

1. 最開始資料的版本是V0;

2. T1時刻發起了一個寫任務,這是把資料clone了一份,進行修改,版本變為V1,但任務還未完成;

3. T2時刻併發了一個讀任務,依然可以讀V0版本的資料;

4. T3時刻又併發了一個讀任務,依然不會阻塞;

 

可以看到,資料多版本,通過“讀取舊版本資料”能夠極大提高任務的併發度。

 

提高併發的演進思路,就在如此:

  • 普通鎖,本質是序列執行

  • 讀寫鎖,可以實現讀讀併發

  • 資料多版本,可以實現讀寫併發

畫外音:這個思路,比整篇文章的其他技術細節更重要,希望大家牢記。

 

好,對應到InnoDB上,具體是怎麼玩的呢?

 

四、redo, undo,回滾段

在進一步介紹InnoDB如何使用“讀取舊版本資料”極大提高任務的併發度之前,有必要先介紹下redo日誌,undo日誌,回滾段(rollback segment)。

 

為什麼要有redo日誌?

資料庫事務提交後,必須將更新後的資料刷到磁碟上,以保證ACID特性。磁碟隨機寫效能較低,如果每次都刷盤,會極大影響資料庫的吞吐量。

 

優化方式是,將修改行為先寫到redo日誌裡(此時變成了順序寫),再定期將資料刷到磁碟上,這樣能極大提高效能。

畫外音:這裡的架構設計方法是,隨機寫優化為順序寫,思路更重要。

 

假如某一時刻,資料庫崩潰,還沒來得及刷盤的資料,在資料庫重啟後,會重做redo日誌裡的內容,以保證已提交事務對資料產生的影響都刷到磁碟上。

 

一句話redo日誌用於保障,已提交事務的ACID特性

 

為什麼要有undo日誌?

資料庫事務未提交時,會將事務修改資料的映象(即修改前的舊版本)存放到undo日誌裡,當事務回滾時,或者資料庫奔潰時,可以利用undo日誌,即舊版本資料,撤銷未提交事務對資料庫產生的影響。

畫外音:更細節的,

對於insert操作,undo日誌記錄新資料的PK(ROW_ID),回滾時直接刪除;

對於delete/update操作,undo日誌記錄舊資料row,回滾時直接恢復;

他們分別存放在不同的buffer裡。

 

一句話undo日誌用於保障,未提交事務不會對資料庫的ACID特性產生影響

 

什麼是回滾段?

儲存undo日誌的地方,是回滾段。

 

undo日誌和回滾段和InnoDB的MVCC密切相關,這裡舉個例子展開說明一下。

 

栗子

t(id PK, name);

 

資料為:

1, shenjian

2, zhangsan

3, lisi

此時沒有事務未提交,故回滾段是空的。

 

接著啟動了一個事務:

start trx;

delete (1, shenjian);

update set(3, lisi) to (3, xxx);

insert (4, wangwu);

並且事務處於未提交的狀態

可以看到:

(1)被刪除前(1, shenjian)作為舊版本資料,進入了回滾段;

(2)被修改前的(3, lisi)作為舊版本資料,進入了回滾段;

(3)被插入的資料,PK(4)進入了回滾段;

 

接下來,假如事務rollback,此時可以通過回滾段裡的undo日誌回滾。

畫外音:假設事務提交,回滾段裡的undo日誌可以刪除。

 

可以看到:

(1)被刪除的舊資料恢復了;

(2)被修改的舊資料也恢復了;

(3)被插入的資料,刪除了;

事務回滾成功,一切如故。

 

四、InnoDB是基於多版本併發控制的儲存引擎

大資料量,高併發量的網際網路業務,一定要使用InnoDB》提到,InnoDB是高併發網際網路場景最為推薦的儲存引擎,根本原因,就是其多版本併發控制(Multi Version Concurrency Control, MVCC)。行鎖,併發,事務回滾等多種特性都和MVCC相關。

 

MVCC就是通過“讀取舊版本資料”來降低併發事務的鎖衝突,提高任務的併發度。

 

核心問題:

舊版本資料儲存在哪裡?

儲存舊版本資料,對MySQL和InnoDB原有架構是否有巨大沖擊?

通過上文undo日誌回滾段的鋪墊,這兩個問題就非常好回答了:

(1)舊版本資料儲存在回滾段裡;

(2)對MySQL和InnoDB原有架構體系衝擊不大;

 

InnoDB的核心,會對所有row資料增加三個內部屬性:

(1)DB_TRX_ID,6位元組,記錄每一行最近一次修改它的事務ID;

(2)DB_ROLL_PTR,7位元組,記錄指向回滾段undo日誌的指標;

(3)DB_ROW_ID,6位元組,單調遞增的行ID;

 

InnoDB為何能夠做到這麼高的併發?

回滾段裡的資料,其實是歷史資料的快照(snapshot),這些資料是不會被修改,select可以肆無忌憚的併發讀取他們。

 

快照讀(Snapshot Read),這種一致性不加鎖的讀(Consistent Nonlocking Read),就是InnoDB併發如此之高的核心原因之一

 

這裡的一致性是指,事務讀取到的資料,要麼是事務開始前就已經存在的資料(當然,是其他已提交事務產生的),要麼是事務自身插入或者修改的資料。

 

什麼樣的select是快照讀?

除非顯示加鎖,普通的select語句都是快照讀,例如:

select * from t where id>2;

 

這裡的顯示加鎖,非快照讀是指:

select * from t where id>2 lock in share mode;

select * from t where id>2 for update;

 

問題來了,這些顯示加鎖的讀,是什麼讀?會加什麼鎖?和事務的隔離級別又有什麼關係?

 

本節的內容已經夠多了,且聽下回分解。

 

總結

(1)常見併發控制保證資料一致性的方法有資料多版本

(2)普通鎖序列讀寫鎖讀讀並行資料多版本讀寫並行

(3)redo日誌保證已提交事務的ACID特性,設計思路是,通過順序寫替代隨機寫,提高併發;

(4)undo日誌用來回滾未提交的事務,它儲存在回滾段裡;

(5)InnoDB是基於MVCC的儲存引擎,它利用了儲存在回滾段裡的undo日誌,即資料的舊版本,提高併發;

(6)InnoDB之所以併發高,快照讀不加鎖

(7)InnoDB所有普通select都是快照讀

畫外音:本文的知識點均基於MySQL5.6。