能堅持別人不能堅持的，才能擁有別人不能擁有的。

 

文章首發於左上角公眾號，同步到部落格園會延遲一到兩天。

關注程式設計大道公眾號，讓我們一同堅持心中所想，一起成長！！

Redis是企業級系統高併發、高可用架構中非常重要的一個環節。Redis主要解決了關係型資料庫併發量低的問題，有助於緩解關係型資料庫在高併發場景下的壓力，提高系統的吞吐量（具體Redis是如何提高系統的效能、吞吐量，後面會專門講）。

而我們在Redis的實際使用過程中，難免會遇到快取與資料庫雙寫時資料不一致的問題，這也是我們必須要考慮的問題。如果還有同學不瞭解這個問題，可以搬小板凳來聽聽啦。

一、資料庫+快取雙寫不一致問題引入

要講資料庫+快取雙寫不一致的問題，就需要先講一下這個問題是怎麼發生的。我們選擇電商系統中要求資料實時性較高的庫存服務來舉例講講這個問題。

庫存可能會修改，每次修改資料庫的同時也都要去更新這個快取資料;；每次庫存的資料，在快取中一旦過期，或者是被清理掉了，前端對庫存資料的請求都會發送給庫存服務，去獲取相應的資料。

庫存這一塊，寫資料庫的時候，直接更新redis快取嗎？實際上不是，因為沒有這麼簡單。這裡，其實就涉及到了一個問題，資料庫與快取雙寫，資料不一致的問題。圍繞和結合實時性較高的庫存服務，把資料庫與快取雙寫不一致問題以及其解決方案，給大家分享一下。

二、各種級別的不一致問題及解決方案

1.最初級的快取不一致問題及解決方案

問題

如果是先修改資料庫，再刪除快取的方案，會有問題，試想，如果刪除快取失敗了，那麼會導致資料庫中是新資料，快取中是舊資料，出現數據不一致的情況。

解決思路

反過來，先刪除快取，再修改資料庫。讀快取讀不到，查資料庫更新快取的時候就拿到了最新的庫存資料。如果刪除快取成功了，而修改資料庫失敗了，那麼資料庫中依舊是舊資料，快取中是空的，那麼資料不會不一致。因為讀的時候快取沒有，則讀資料庫中舊資料，然後更新到快取中。

2.比較複雜的資料不一致問題分析

當庫存資料發生了變更，我們先刪除了快取，然後要去修改資料庫。

設想一下，如果這個時候修改資料庫的操作還沒來及完成，突然一個請求過來，去讀快取，發現快取空了，去查詢資料庫，查到了修改前的舊資料，放到了快取中。

資料變更的操作完成後資料庫的庫存被修改成了新值，但快取中又變成了舊資料。那麼這個時候是不是還會出現快取和資料庫不一致的情況？

3.為何上億流量高併發時會出現該問題？

上述問題，只有在對一個數據在併發的進行讀寫的時候，才可能會出現。

其實如果併發量很低的話，特別是讀併發很低，每天訪問量就1萬次，那麼很少的情況下，會出現剛才描述的那種不一致的場景。

但是問題是，高併發了以後，問題是很多的。如果每天的是上億的流量，每秒併發讀是幾萬，每秒只要有資料更新的請求，就可能會出現上述的資料庫+快取不一致的情況。

怎麼解決？

4.更新與讀取操作進行非同步序列化

這裡說一種解決方案。

不就是還沒更新資料庫的就查資料庫讀到舊資料嗎？不就是因為讀在更新前面了嗎？那我就讓你排隊執行唄。

4.1 非同步序列化

我在系統內部維護n個記憶體佇列，更新資料的時候，根據資料的唯一標識，將該操作路由之後，傳送到其中一個jvm內部的記憶體佇列中（對同一資料的請求傳送到同一個佇列）。讀取資料的時候，如果發現數據不在快取中，並且此時佇列裡有更新庫存的操作，那麼將重新讀取資料+更新快取的操作，根據唯一標識路由之後，也將傳送到同一個jvm內部的記憶體佇列中。然後每個佇列對應一個工作執行緒，每個工作執行緒序列地拿到對應的操作，然後一條一條的執行。

這樣的話，一個數據變更的操作，先執行刪除快取，然後再去更新資料庫，但是還沒完成更新的時候，如果此時一個讀請求過來，讀到了空的快取，那麼可以先將快取更新的請求傳送到佇列中，此時會在佇列中積壓，排在剛才更新庫的操作之後，然後同步等待快取更新完成，再讀庫。

4.2 讀操作去重

多個讀庫更新快取的請求串在同一個佇列中是沒意義的，因此可以做過濾，如果發現佇列中已經有了該資料的更新快取的請求了，那麼就不用再放進去了，直接等待前面的更新操作請求完成即可，待那個佇列對應的工作執行緒完成了上一個操作（資料庫的修改）之後，才會去執行下一個操作（讀庫更新快取），此時會從資料庫中讀取最新的值，然後寫入快取中。

如果請求還在等待時間範圍內，不斷輪詢發現可以取到值了，那麼就直接返回； 如果請求等待的時間超過一定時長，那麼這一次直接從資料庫中讀取當前的舊值。（返回舊值不是又導致快取和資料庫不一致了麼？那至少可以減少這個情況發生，因為等待超時也不是每次都是，機率很小吧。這裡我想的是，如果超時了就直接讀舊值，這時候僅僅是讀庫後返回而不放快取）

5.高併發的場景下，該方案要注意的問題

高併發的場景下，該解決方案其實還是有一些問題需要特別注意的。

5.1 讀請求長時阻塞

由於讀請求進行了非常輕度的非同步化，所以一定要注意讀超時的問題，每個讀請求必須在超時時間範圍內返回。

該解決方案，最大的風險點在於，資料更新很頻繁的情況下導致佇列中積壓了大量更新操作在裡面，然後讀請求會發生大量的超時，最後導致大量的請求直接走資料庫取到了舊值。所以，務必通過一些模擬真實的測試，看看更新資料頻繁的場景下是怎樣的。

另外一點，因為一個佇列中，可能會積壓針對多個數據項的更新操作，因此需要根據自己的業務情況進行測試，確定一個例項中建立多少個記憶體佇列，且可能需要部署多個服務，每個服務分攤一些資料的更新操作。

如果一個記憶體佇列裡積壓100個商品的庫存修改操作，每個庫存修改操作要耗費10ms去完成，那麼最後一個商品的讀請求，可能等待10 * 100 = 1000ms = 1s後，才能得到資料。

這個時候就導致讀請求的長時阻塞。

一定要做根據實際業務系統的執行情況，去進行一些壓力測試，和模擬線上環境，去看看最繁忙的時候，記憶體佇列可能會擠壓多少更新操作，可能會導致最後一個更新操作對應的讀請求，會hang多少時間。如果讀請求在200ms返回，而且你計算過後，哪怕是最繁忙的時候，積壓10個更新操作，最多等待200ms，那還可以的。

如果一個記憶體佇列可能積壓的更新操作特別多，那麼你就要加機器，讓每個機器上部署的服務例項處理更少的資料，那麼每個記憶體佇列中積壓的更新操作就會越少。

Tips:
其實根據之前的專案經驗，一般來說資料的寫頻率是很低的，因此實際上正常來說，在佇列中積壓的更新操作應該是很少的。

針對讀高併發，讀快取架構的專案，一般寫請求相對讀來說，是非常非常少的，每秒的QPS能到幾百就不錯了。

假如一秒500的寫操作，可以看成5份，每200ms就100個寫操作。對於單機器，如果又20個記憶體佇列，每個記憶體佇列，可能就積壓5個寫操作，每個寫操作效能測試後，一般在20ms左右就完成。

那麼針對每個記憶體佇列中的資料的讀請求，也就最多hang一會兒，200ms以內肯定能返回了。

假如寫QPS擴大10倍，但是經過剛才的測算，就知道，單機支撐寫QPS幾百沒問題，那麼就擴容機器，擴容10倍的機器，10臺機器，每個機器20個佇列，200個佇列。

大部分的情況下，應該是這樣的：大量的讀請求過來，都是直接走快取取到資料的。少量情況下，可能遇到讀和資料更新衝突的情況。如上所述，那麼此時更新操作如果先入佇列，之後可能會瞬間來了對這個資料大量的讀請求，但是因為做了去重的優化，所以也就一個更新快取的操作跟在它後面。

等資料更新完了，讀請求觸發的快取更新操作也完成，然後臨時等待的讀請求全部可以讀到快取中的資料。

5.2 讀請求併發量過高

這裡還必須做好壓力測試，確保恰巧碰上上述情況的時候，還有一個風險，就是突然間大量讀請求會在幾十毫秒的延時hang在服務上，看服務能不能抗的住，需要多少機器才能抗住最大的極限情況的峰值。

但是因為並不是所有的資料都在同一時間更新，快取也不會同一時間失效，所以每次可能也就是少數資料的快取失效了，然後那些資料對應的讀請求過來，併發量應該也不會特別大。

Tips:
如果按1:99的比例計算寫和讀的請求，那麼每秒5萬的讀QPS，可能只有500次更新操作。
如果一秒有500的寫QPS，那麼要測算好，可能寫操作影響的資料有500條，這500條資料在快取中失效後，可能導致多少讀快取的請求，傳送讀請求到庫存服務來，要求更新快取。

一般來說，按1:2的話，每秒鐘有1000個讀請求去讀這500個正在更新庫的資料，就會有1000個請求hang在庫存服務上，如果規定每個請求200ms就返回，那麼每個讀請求最多hang多少時間，這個一定要測算好。

在同一時間最多hang住的可能也就是單機200個讀請求，最壞的同時hang住，單機hang200個讀請求，還是ok的。

但是假如1:20，每秒更新500條資料，這500秒資料對應的讀請求，會有20 * 500 = 1萬，1萬個讀請求全部hang在庫存服務上，就死定了。

5.3 多服務例項部署的請求路由

可能這個庫存服務部署了多個例項，那麼必須保證說，執行資料更新操作，以及執行快取更新操作的請求，對於同一商品的讀寫請求全部路由到同一臺機器上。可以自己去做服務間的按照某個請求的引數做hash路由，也可以通過nginx伺服器hash路由的功能路由到相同的服務例項上。

5.4 熱點商品的路由問題，導致請求的傾斜

萬一某個商品的讀寫請求特別高，全部打到相同的機器的相同的佇列裡面去了，可能造成某臺機器的壓力過大。

但是因為只有在商品資料更新的時候才會清空快取，然後才會導致讀寫併發，所以更新頻率不是太高的話，這個問題的影響並不是特別大。

但是的確可能某些機器的負載會高一些。

三、總結

一般來說，就是如果你的系統不是嚴格要求快取+資料庫必須一致性的話，快取可以稍微的跟資料庫偶爾有不一致的情況，那最好不要上述的序列化的這個方案，因為讀請求和寫請求序列化，串到一個記憶體佇列裡去，這樣是可以保證一定不會出現不一致的情況。但是，序列化之後，就會導致系統的吞吐量會大幅度的降低，你就需要用比正常情況下多幾倍的機器去支撐線上的一個請求。

另外，不是說，講課的、寫文章的就是超人，萬能的。就跟寫書一樣，很可能會寫錯，也可能有些方案裡的一些地方，沒考慮到。或者有些方案只是適合某些場景，在某些場景下，可能需要你進行方案的優化和調整才能適用於你自己的專案。

如果大家覺得對這些方案有什麼疑問或者見解，都可以溝通交流。如果的確覺得是講解的不對，或者有些地方考慮不周，那麼都是可以交流的，多多包涵。

整理自中華石杉老師的網際網路Java突擊面試課程。歡迎一起學習交流。