29. 多版本併發控制
一、什麼是MVCC
MVCC(Multiversion Concurrency Control),多版本併發控制。顧名思義,MVCC是通過資料行的多個版本管理來實現資料庫的併發控制。這項技術使得在InnoDB的事務隔離級別下執行一致性讀操作有了保證。換言之,就是為了查詢一些正在被另一個事務更新的行,並且可以看到它們被更新之前的值,這樣在做查詢的時候就不用等待另一個事務釋放鎖。
MVCC沒有正式的標準,在不同的DBMS中MVCC的實現帆帆是可能是不同的,也不是普遍使用的。這裡講解InnoDB中MVCC的實現機制(MySQL其它的儲存引擎並不支援它).
二、快照讀與當前讀
MVCC在MySQL InnoDB中的實現主要是為了提高資料庫併發效能,用更好的方式去處理讀-寫衝突
2.1、快照讀
快照讀又叫一致性讀,讀取的是快照資料。不加鎖的簡單的SELECT都屬於快照讀,即不加鎖的非阻塞讀;之所以出現快照讀的情況,是基於提高併發效能的考慮,快照讀的實現是基於MVCC,它在很多情況下,避免了加鎖操作,降低了開銷。既然是基於多版本,那麼快照讀可能讀到的並不一定是資料的最新版本,而有可能是之前的歷史版本。快照讀的前提是隔離級別不是序列級別,序列級別下的快照讀會退化成當前讀。
2.2、當前讀
當前讀讀取的是記錄的最新版本(最新資料,而不是歷史版本的資料),讀取時還要保證其他併發事務不能修改當前記錄,會對讀取的記錄進行加鎖。加鎖的 SELECT,或者對資料進行增刪改都會進行當前讀。
三、MVCC實現原理
MVCC的實現依賴於隱藏欄位、Undo Log、Read View。
3.1、隱藏欄位
對於使用 InnoDB 儲存引擎的表來說,它的聚簇索引記錄中都包含兩個必要的隱藏列。
- trx_id:每次一個事務對某條聚簇索引記錄進行改動時,都會把該事務的事務id賦值給trx_id隱藏列。
- roll_pointer:每次對某條聚簇索引記錄進行改動時,都會把舊的版本寫入到undo日誌中,然後這個隱藏列就相當於一個指標,可以通過它來找到該記錄修改前的資訊。
假設插入該記錄的事務id為8,那麼此刻該條記錄的示意圖如下:
insert undo只在事務回滾時起作用,當事務提交後,該型別的undo日誌就沒用了,它佔用的Undo Log Segment也會被系統回收(也就是該undo日誌佔用的Undo頁面連結串列要麼被重用,要麼被釋放)。
假設之後兩個事務id分別為10、20的事務對這條記錄進行UPDATE操作。每次對記錄進行改動,都會記錄一個undo日誌,每條undo日誌也都有一個roll_pointer屬性(INSERT操作對應的undo日誌沒有改屬性,因為改記錄並沒有更早的版本),可以將這些undo日誌都連起來,串成一個連結串列。
發生時間順序 | 事務10 | 事務 20 |
---|---|---|
1 | BEGIN; | |
2 | BEGIN; | |
3 | UPDATE student SET name = '李四' WHERE id = 1; | |
4 | UPDATE student SET name = '王五' WHERE id = 1; | |
5 | COMMIT; | |
6 | UPDATE student SET name = '趙六' WHERE id = 1; | |
7 | UPDATE student SET name = '錢七' WHERE id = 1; | |
8 | COMMIT; |
3.2、Undo Log版本鏈
對記錄每次更新後,都會將舊值放到一條undo日誌中,就算是對該記錄的一箇舊版本,隨著更新次數的增多,所有的版本都會被roll_pointer屬性連線成一個連結串列,我們把這個連結串列稱之為版本鏈,版本鏈的頭節點就是當前記錄最新的值。每個版本中還包含生成該版本時對應的事務id。
3.3ReadView
3.3.1、 什麼是ReadView
在MVCC機制中,多個事務對同一個行記錄進行更新會產生多個歷史快照,這些歷史快照儲存在Undo Log裡。如果一個事務想要查詢這個行記錄,需要讀取哪個版本的行記錄呢?這時就需要用到ReadView了。它幫我們解決了行的可見性問題。
ReadView就是事務在使用MVCC機制進行快照讀操作時產生的讀檢視。當事務啟動時,會生成資料庫系統當前的一個快照,InnoDB為每一個事務構造了一個數組,用來記錄並維護系統當前活躍事務的ID(“活躍”指的是,啟動了但還沒提交)。
3.3.2、設計思路
使用READ UNCOMMITTED隔離級別的事務,由於可以讀到未提交事務修改過的記錄,所以直接讀取記錄的最新版本就好了。
使用SERIALIZABLE隔離級別的事務,InnoDB規定使用加鎖的方式來訪問記錄。
使用READ COMMITTED和 REPEATABLE READ隔離級別的事務,都必須保證讀到已經提交了的事務修改過的記錄。假如另一個事務已經修改了記錄但是尚未提交,是不能直接讀取最新版本的記錄的,核心問題就是需要判斷一下版本鏈中的哪個版本是當前事務可見的,這是ReadView要解決的主要問題。
這個ReadView中主要包含4個比較重要的內容,分別如下:
-
creator_trx_id,建立這個Read View的事務ID。
- 只有在對錶中的記錄做改動時(執行INSERT、DELETE、UPDATE這些語句時)才會為事務分配事務id,否則在一個只讀事務中的事務id值都預設為0。
- trx_ids,表示在生成ReadView時當前系統中活躍的讀寫事務的事務id列表。
- up_limit_id,活躍的事務中最小的事務ID。
-
low_limit_id,表示生成ReadView時系統中應該分配給下一個事務的id值。low_limit_id 是系統最大的事務id值,這裡要注意是系統中的事務id,需要區別於正在活躍的事務ID。
- low_limit_id並不是trx_ids中的最大值,事務id是遞增分配的。
- 比如,現在有id為 1,2,5這三個事務,之後id為5的事務提交了。那麼一個新的讀事務在生成ReadView時,trx_ids就包括1和2,up_limit_id的值就是1,low_limit_id 的值就是6。
3.3.3、ReadView的規則
有了這個ReadView,這樣在訪問某條記錄時,只需要按照下邊的步驟判斷記錄的某個版本是否可見。
- 如果被訪問版本的trx_id屬性值與ReadView中的creator_trx_id值相同,意味著當前事務在訪問它自己修改過的記錄,所以該版本可以被當前事務訪問。
- 如果被訪問版本的trx_id屬性值小於ReadView中的up_limit_id值,表明生成該版本的事務在當前事務生成ReadView前已經提交,所以該版本可以被當前事務訪問。
- 如果被訪問版本的trx_id屬性值大於或等於ReadView中的low_limit_id值,表明生成該版本的事務在當前事務生成ReadView後才開啟,所以該版本不可以被當前事務訪問。
- 如果被訪問版本的trx_id屬性值在ReadView的up_limit_id和low_limit_id之間,那就需要判斷一下trx_id屬性值是不是在trx_ids列表中。
- 如果在,說明建立ReadView時生成該版本的事務還是活躍的,該版本不可以被訪問。
- 如果不在,說明建立ReadView時生成該版本的事務已經被提交,該版本可以被訪問。
3.3.4、MVCC整體操作流程
當查詢一條記錄的時候,系統如何通過MVCC找到它:
- 首先獲取事務自己的版本號,也就是事務ID;
- 獲取ReadView;
- 查詢得到的資料,然後與ReadView中的事務版本號進行比較;
- 如果不符合ReadView規則,就需要從Undo Log中獲取歷史快照;
- 最後返回符合規則的資料。
如果某個版本的資料對當前事務不可見的話,那麼就順著版本鏈找到下一個版本的資料,繼續按照上邊的步驟判斷可見性,一次類推,直到版本鏈中的最後一個版本。如果最後有一個版本也不可見的話,那麼就意味著該條記錄對該事務完全不可見,查詢結果就不包含該記錄。
InnoDB中,MVCC是通過Undo Log + ReadView進行資料讀取,Undo Log儲存了歷史快照,而ReadView規則幫我們判斷當前版本的資料是否可見。
在隔離級別為讀已提交(Read Committed)時,一個事務中的每一次SELECT查詢都會重新獲取一次ReadView。注意,此時同樣的查詢語句都會重新獲取一次Read View,這時如果ReadView不同,就可能產生不可重複讀或者幻讀的情況。
當隔離級別為可重複讀的時候,就避免了不可重複讀,這是因為一個事務只在第一次SELECT的時候會獲取一次 ReadView,而後面所有的SELECT都會複用這個ReadView。
四、舉例說明
MVCC只能在READ COMMITTED和REPEATABLE READ兩個隔離級別下工作。假設現在student表中只有一條由事務id為8的事務插入一條記錄。
CREATE DATABASE test29;
USE test29;
CREATE TABLE student(
id INT PRIMARY KEY auto_increment,
name VARCHAR(10),
class VARCHAR(10)
);
INSERT INTO student(name,class) VALUES('張三','一班');
4.1、READ COMMITTED隔離級別下
READ COMMITTED :每次讀取資料前都生成一個ReadView。現在有兩個事務id分別為10 、20的事務在執行:
-- Transaction 10
BEGIN;
UPDATE student SET name = '李四' WHERE id = 1;
UPDATE student SET name = '王五' WHERE id = 1;
-- Transaction 20
BEGIN;
-- 更新了一些別的表的記錄 ...
事務執行過程中,只有在第一次真正修改記錄時(比如使用INSERT、DELETE、UPDATE語句),才會被分配一個單獨的事務id,這個事務id是遞增的。所以我們才在事務2中更新一些別的表的記錄,目的是讓它分配事務id。
假設現在有一個使用READ COMMITTED隔離級別的事務開始執行:
-- 使用READ COMMITTED隔離級別的事務
BEGIN;
-- SELECT1:Transaction 10、20未提交
SELECT * FROM student WHERE id = 1; -- 得到的列name的值為'張三'
這個SELECT1的執行過程如下:
- 在執行SELECT語句時會先生成一個ReadView,ReadView的trx_ids列表的內容就是[10,20],up_limit_id為10,low_limit_id為21,creator_trx_id為0
- 從版本鏈中挑選可見的記錄,最新版本的列name的內容是'王五',該版本的trx_id值為10,在trx_ids列表內,所以不符合可見性要求,根據roll_pointer跳到下一個版本。
- 下一個版本的列name的內容是'李四',該版本的trx_id值也為10,也在trx_ids列表內,所以也不符合要求,繼續跳到下一個版本。
- 下一個版本的列name的內容是'張三',該版本的trx_id值為8,小於ReadView中的up_limit_id值10,所以這個版本符合要求,最後返回給使用者的版本就是這條列name為'張三'的記錄。
之後把事務id為10的事務提交:
-- Transaction 10
BEGIN;
UPDATE student SET name = '李四' WHERE id = 1;
UPDATE student SET name = '王五' WHERE id = 1;
COMMIT;
然後再到事務id為20的事務中更新以下student表中id為1的記錄:
-- Transaction 20
BEGIN;
-- 更新了一些別的表的記錄
UPDATE student SET name = '趙六' WHERE id = 1;
UPDATE student SET name = '錢七' WHERE id = 1;
然後再到剛才使用 READ COMMITTED 隔離級別的事務中繼續查詢這個id為1的記錄,如下:
-- 使用READ COMMITTED隔離級別的事務
BEGIN;
-- SELECT1:Transaction 10、20均未提交
SELECT * FROM student WHERE id = 1; -- 得到的列name的值為'張三'
--SELECT2:Transaction 10提交,Transaction 20未提交
SELECT * FROM student WHERE id = 1; -- 得到的列name的值為'王五'
這個SELECT2的執行過程如下:
- 在執行SELECT語句時又會單獨生成一個ReadView,該ReadView的trx_ids列表的內容就是[20],up_limit_id為10,low_limit_id為21,creator_trx_id為0
- 從版本鏈中挑選可見的記錄,最新版本的列name的內容是'錢七',該版本的trx_id值為20,在trx_ids列表內,所以不符合可見性要求,根據roll_pointer跳到下一個版本。
- 下一個版本的列name的內容是'趙六',該版本的trx_id值也為20,也在trx_ids列表內,所以也不符合要求,繼續跳到下一個版本。
- 下一個版本的列name的內容是'王五',該版本的trx_id值為10,小於ReadView中的up_limit_id值20,所以這個版本符合要求,最後返回給使用者的版本就是這條列name為'王五'的記錄。
以此類推,如果之後事務id為20的記錄也提交了,再次再使用READ COMMITTED隔離級別的事務中查詢表student中id值為1的記錄是,得到的結果就是'錢七'了。
使用READ COMMITTED隔離級別的事務在每次查詢開始時都會生成一個獨立的ReadView。
4.2、REPEATABLE READ隔離級別下
使用REPEATABLE READ隔離級別的事務來說,只會在第一次執行查詢語句時生成一個ReadView,之後的查詢就不會重複生成了。比如,系統裡有兩個事務id分別為10 、20的事務在執行:
-- Transaction 10
BEGIN;
UPDATE student SET name = '李四' WHERE id = 1;
UPDATE student SET name = '王五' WHERE id = 1;
-- Transaction 20
BEGIN;
-- 更新了一些別的表的記錄
假設現在有一個使用REPEATABLE READ隔離級別的事務開始執行:
-- 使用REPEATABLE READ隔離級別的事務
BEGIN;
-- SELECT1:Transaction 10、20未提交
SELECT * FROM student WHERE id = 1; -- 得到的列name的值為'張三'
這個SELECT1的執行過程如下:
- 在執行SELECT語句時會先生成一個ReadView,ReadView的trx_ids列表的內容就是[10,20],up_limit_id為10,low_limit_id為21,creator_trx_id為0
- 從版本鏈中挑選可見的記錄,最新版本的列name的內容是'王五',該版本的trx_id值為10,在trx_ids列表內,所以不符合可見性要求,根據roll_pointer跳到下一個版本。
- 下一個版本的列name的內容是'李四',該版本的trx_id值也為10,也在trx_ids列表內,所以也不符合要求,繼續跳到下一個版本。
- 下一個版本的列name的內容是'張三',該版本的trx_id值為8,小於ReadView中的up_limit_id值10,所以這個版本符合要求,最後返回給使用者的版本就是這條列name為'張三'的記錄。
之後把事務id為10的事務提交:
-- Transaction 10
BEGIN;
UPDATE student SET name = '李四' WHERE id = 1;
UPDATE student SET name = '王五' WHERE id = 1;
COMMIT;
然後再到 事務id 為 20 的事務中更新一下表 student 中 id 為 1 的記錄:
-- Transaction 20
BEGIN;
-- 更新了一些別的表的記錄
UPDATE student SET name = '趙六' WHERE id = 1;
UPDATE student SET name = '錢七' WHERE id = 1;
然後再到剛才使用REPEATABLE READ隔離級別的事務中繼續查詢這個id為1的記錄,如下:
-- 使用REPEATABLE READ隔離級別的事務
BEGIN;
-- SELECT1:Transaction 10、20均未提交
SELECT * FROM student WHERE id = 1; -- 得到的列name的值為'張三'
-- SELECT2:Transaction 10提交,Transaction 20未提交
SELECT * FROM student WHERE id = 1; -- 得到的列name的值仍為'張三'
這個SELECT2的執行過程如下:
- 因為當前事務的隔離級別為REPEATABLE READ,而之前在執行SELECT1時已經生成過了ReadView,所以此時直接使用之前的ReadView,之前的ReadView的trx_ids列表的內容就是[10,20],up_limit_id為10,low_limit_id為21,creator_trx_id為0
- 從版本鏈中挑選可見的記錄,最新版本的列name的內容是'錢七',該版本的trx_id值為20,在trx_ids列表內,所以不符合可見性要求,根據roll_pointer跳到下一個版本。
- 下一個版本的列name的內容是'趙六',該版本的trx_id值也為20,也在trx_ids列表內,所以也不符合要求,繼續跳到下一個版本。
- 下一個版本的列name的內容是'王五',該版本的trx_id值為10,而trx_ids列表中是包含10的事務id,所以該版本也不符合要求,繼續跳轉到下一個版本。
- 下一個版本的列name的內容是'李四',該版本的trx_id值也為10,也在trx_ids列表內,所以也不符合要求,繼續跳到下一個版本。
- 下一個版本的列name的內容是'張三',該版本的trx_id值為8,小於ReadView中的up_limit_id值10,所以這個版本符合要求,最後返回給使用者的版本就是這條列name為'張三'的記錄。
4.3、如何解決幻讀
假設現在表student中只有一條資料,資料內容中,主鍵id=1,隱藏的trx_id=10。現在有事務A和事務B併發執行, 事務A的事務id為20,事務B的事務id為30 。
步驟1:事務A開始第一次查詢資料,查詢的SQL語句如下。
SELECT * FROM student WHERE id >= 1;
在開始查詢之前,MySQL會為事務A產生一個ReadView,此時ReadView的內容如下:trx_ids= [20,30],up_limit_id=20,low_limit_id=31,creator_trx_id=20。
由於此時表student中只有一條資料,且符合where id >= 1條件,因此會查詢出來。然後根據ReadView機制,發現該行資料的trx_id=10,小於事務A的ReadView裡up_limit_id,這表示這條資料是事務A開啟之前,其他事務就已經提交了的資料,因此事務A可以讀取到。
結論:事務 A 的第一次查詢,能讀取到一條資料,id=1。
步驟2:接著事務 B(trx_id=30),往表student中新插入兩條資料,並提交事務。
insert into student(id,name) values(2,'李四');
insert into student(id,name) values(3,'王五');
步驟3:接著事務A開啟第二次查詢,根據可重複讀隔離級別的規則,此時事務A並不會再重新生成ReadView。此時表 student中的3條資料都滿足where id>=1的條件,因此會先查出來。然後根據ReadView機制,判斷每條資料是不是都可以被事務A看到。
- 首先id=1的這條資料,前面已經說過了,可以被事務A看到。
- 然後是id=2的資料,它的trx_id=30,此時事務A發現,這個值處於up_limit_id和low_limit_id之間,因此還需要再判斷30是否處於trx_ids陣列內。由於事務A的trx_ids=[20,30],因此在陣列內,這表示id=2的這條資料是與事務A在同一時刻啟動的其他事務提交的,所以這條資料不能讓事務A看到。
- 同理,id=3的這條資料,trx_id也為30,因此也不能被事務A看見。
結論:最終事務A的第二次查詢,只能查詢出id=1的這條資料。這和事務A的第一次查詢的結果是一樣的,因此沒有出現幻讀現象,所以說在MySQL的可重複讀隔離級別下,不存在幻讀問題。
五、總結
這裡介紹了MVCC在READ COMMITTD、REPEATABLE READ這兩種隔離級別的事務在執行快照讀操作時訪問記錄的版本鏈的過程。這樣使不同事務的讀-寫、寫-讀操作併發執行,從而提升系統性能。
- READ COMMITTD在每一次進行普通SELECT操作前都會生成一個ReadView
- REPEATABLE READ只在第一次進行普通SELECT操作前生成一個ReadView,之後的查詢操作都重複使用這個ReadView就好了
執行DELETE語句或者更新主鍵的UPDATE語句並不會立即把對應的記錄完全從頁面中刪除,而是執行一個所謂的delete mark操作,相當於只是對記錄打上一個刪除標誌位,主要就是為MVCC服務的。
通過MVCC我們可以解決:
-
讀寫之間阻塞的問題
- 通過MVCC可以讓讀寫互相不阻塞,即讀不阻塞寫,寫不阻塞讀,這樣就可以提升事務併發處理能力。
-
降低了死鎖的概率
- 這時因為MUCC採用了樂觀鎖的方式,讀取資料時並不需要加鎖,對於寫操作,也只鎖定必要的行。
-
解決快照讀的問題
- 當我們查詢資料庫在某個時間點的快照時,只能看到這個時間點之前事務提交更新的結果,而不能看到這個時間點之後事務提交的更新結果。