每秒上千訂單場景下的分散式鎖高併發優化實踐!
“上一篇文章我們聊了聊Redisson這個開源框架對Redis分散式鎖的實現原理,如果有不瞭解的兄弟可以看一下:拜託,面試請不要再問我Redis分散式鎖的實現原理。
今天就給大家聊一個有意思的話題:每秒上千訂單場景下,如何對分散式鎖的併發能力進行優化?
背景引入
首先,我們一起來看看這個問題的背景?
前段時間有個朋友在外面面試,然後有一天找我聊說:有一個國內不錯的電商公司,面試官給他出了一個場景題:
假如下單時,用分散式鎖來防止庫存超賣,但是是每秒上千訂單的高併發場景,如何對分散式鎖進行高併發優化來應對這個場景?
他說他當時沒答上來,因為沒做過沒什麼思路。其實我當時聽到這個面試題心裡也覺得有點意思,因為如果是我來面試候選人的話,應該會給的範圍更大一些。
比如,讓面試的同學聊一聊電商高併發秒殺場景下的庫存超賣解決方案,各種方案的優缺點以及實踐,進而聊到分散式鎖這個話題。
因為庫存超賣問題是有很多種技術解決方案的,比如悲觀鎖,分散式鎖,樂觀鎖,佇列序列化,Redis原子操作,等等吧。
但是既然那個面試官兄弟限定死了用分散式鎖來解決庫存超賣,我估計就是想問一個點:在高併發場景下如何優化分散式鎖的併發效能。
我覺得,面試官提問的角度還是可以接受的,因為在實際落地生產的時候,分散式鎖這個東西保證了資料的準確性,但是他天然併發能力有點弱。
剛好我之前在自己專案的其他場景下,確實是做過高併發場景下的分散式鎖優化方案,因此正好是藉著這個朋友的面試題,把分散式鎖的高併發優化思路,給大家來聊一聊。
庫存超賣現象是怎麼產生的?
先來看看如果不用分散式鎖,所謂的電商庫存超賣是啥意思?大家看看下面的圖:
網路異常
取消
重新上傳
這個圖,其實很清晰了,假設訂單系統部署兩臺機器上,不同的使用者都要同時買10臺iphone,分別發了一個請求給訂單系統。
接著每個訂單系統例項都去資料庫裡查了一下,當前iphone庫存是12臺。
倆大兄弟一看,樂了,12臺庫存大於了要買的10臺數量啊!
於是乎,每個訂單系統例項都發送SQL到資料庫裡下單,然後扣減了10個庫存,其中一個將庫存從12臺扣減為2臺,另外一個將庫存從2臺扣減為-8臺。
現在完了,庫存出現了負數!淚奔啊,沒有20臺iphone發給兩個使用者啊!這可如何是好。
用分散式鎖如何解決庫存超賣問題?
我們用分散式鎖如何解決庫存超賣問題呢?其實很簡單,回憶一下上次我們說的那個分散式鎖的實現原理:
同一個鎖key,同一時間只能有一個客戶端拿到鎖,其他客戶端會陷入無限的等待來嘗試獲取那個鎖,只有獲取到鎖的客戶端才能執行下面的業務邏輯。
網路異常
取消
重新上傳
程式碼大概就是上面那個樣子,現在我們來分析一下,為啥這樣做可以避免庫存超賣?
網路異常
取消
重新上傳
大家可以順著上面的那個步驟序號看一遍,馬上就明白了。
從上圖可以看到,只有一個訂單系統例項可以成功加分散式鎖,然後只有他一個例項可以查庫存、判斷庫存是否充足、下單扣減庫存,接著釋放鎖。
釋放鎖之後,另外一個訂單系統例項才能加鎖,接著查庫存,一下發現庫存只有2臺了,庫存不足,無法購買,下單失敗。不會將庫存扣減為-8的。
有沒有其他方案可以解決庫存超賣問題?
當然有啊!比如悲觀鎖,分散式鎖,樂觀鎖,佇列序列化,非同步佇列分散,Redis原子操作,等等,很多方案,我們對庫存超賣有自己的一整套優化機制。
但是前面說過了,這篇文章就聊一個分散式鎖的併發優化,不是聊庫存超賣的解決方案,所以庫存超賣只是一個業務場景而已。
以後有機會筆者會寫一篇文章,講講電商庫存超賣問題的解決方案,這篇文章先focus在一個分散式鎖併發優化上,希望大家明白這個用意和背景,避免有的兄弟沒看清楚又吐槽。
而且建議大家即使對文章裡的內容有異議,公眾號後臺給我留言跟我討論一下,技術,就是要多交流,開啟思路,碰撞思維。
分散式鎖的方案在高併發場景下
好,現在我們來看看,分散式鎖的方案在高併發場景下有什麼問題?
問題很大啊!兄弟,不知道你看出來了沒有。分散式鎖一旦加了之後,對同一個商品的下單請求,會導致所有客戶端都必須對同一個商品的庫存鎖key進行加鎖。
比如,對iphone這個商品的下單,都必對“iphone_stock”這個鎖key來加鎖。這樣會導致對同一個商品的下單請求,就必須序列化,一個接一個的處理。
大家再回去對照上面的圖反覆看一下,應該能想明白這個問題。
假設加鎖之後,釋放鎖之前,查庫存 -> 建立訂單 -> 扣減庫存,這個過程效能很高吧,算他全過程20毫秒,這應該不錯了。
那麼1秒是1000毫秒,只能容納50個對這個商品的請求依次序列完成處理。
比如一秒鐘來50個請求,都是對iphone下單的,那麼每個請求處理20毫秒,一個一個來,最後1000毫秒正好處理完50個請求。
大家看一眼下面的圖,加深一下感覺。
>need-to-insert-img
所以看到這裡,大家起碼也明白了,簡單的使用分散式鎖來處理庫存超賣問題,存在什麼缺陷。
缺陷就是同一個商品多使用者同時下單的時候,會基於分散式鎖序列化處理,導致沒法同時處理同一個商品的大量下單的請求。
這種方案,要是應對那種低併發、無秒殺場景的普通小電商系統,可能還可以接受。
因為如果併發量很低,每秒就不到10個請求,沒有瞬時高併發秒殺單個商品的場景的話,其實也很少會對同一個商品在一秒內瞬間下1000個訂單,因為小電商系統沒那場景。
如何對分散式鎖進行高併發優化?
好了,終於引入正題了,那麼現在怎麼辦呢?
面試官說,我現在就卡死,庫存超賣就是用分散式鎖來解決,而且一秒對一個iphone下上千訂單,怎麼優化?
現在按照剛才的計算,你一秒鐘只能處理針對iphone的50個訂單。
其實說出來也很簡單,相信很多人看過java裡的ConcurrentHashMap的原始碼和底層原理,應該知道里面的核心思路,就是分段加鎖!
把資料分成很多個段,每個段是一個單獨的鎖,所以多個執行緒過來併發修改資料的時候,可以併發的修改不同段的資料。不至於說,同一時間只能有一個執行緒獨佔修改ConcurrentHashMap中的資料。
另外,Java 8中新增了一個LongAdder類,也是針對Java 7以前的AtomicLong進行的優化,解決的是CAS類操作在高併發場景下,使用樂觀鎖思路,會導致大量執行緒長時間重複迴圈。
LongAdder中也是採用了類似的分段CAS操作,失敗則自動遷移到下一個分段進行CAS的思路。
其實分散式鎖的優化思路也是類似的,之前我們是在另外一個業務場景下落地了這個方案到生產中,不是在庫存超賣問題裡用的。
但是庫存超賣這個業務場景不錯,很容易理解,所以我們就用這個場景來說一下。大家看看下面的圖:
>need-to-insert-img
其實這就是分段加鎖。你想,假如你現在iphone有1000個庫存,那麼你完全可以給拆成20個庫存段,要是你願意,可以在資料庫的表裡建20個庫存欄位,比如stock_01,stock_02,類似這樣的,也可以在redis之類的地方放20個庫存key。
總之,就是把你的1000件庫存給他拆開,每個庫存段是50件庫存,比如stock_01對應50件庫存,stock_02對應50件庫存。
接著,每秒1000個請求過來了,好!此時其實可以是自己寫一個簡單的隨機演算法,每個請求都是隨機在20個分段庫存裡,選擇一個進行加鎖。
bingo!這樣就好了,同時可以有最多20個下單請求一起執行,每個下單請求鎖了一個庫存分段,然後在業務邏輯裡面,就對資料庫或者是Redis中的那個分段庫存進行操作即可,包括查庫存 -> 判斷庫存是否充足 -> 扣減庫存。
這相當於什麼呢?相當於一個20毫秒,可以併發處理掉20個下單請求,那麼1秒,也就可以依次處理掉20 * 50 = 1000個對iphone的下單請求了。
一旦對某個資料做了分段處理之後,有一個坑大家一定要注意:就是如果某個下單請求,咔嚓加鎖,然後發現這個分段庫存裡的庫存不足了,此時咋辦?
這時你得自動釋放鎖,然後立馬換下一個分段庫存,再次嘗試加鎖後嘗試處理。這個過程一定要實現。
分散式鎖併發優化方案有沒有什麼不足?
不足肯定是有的,最大的不足,大家發現沒有,很不方便啊!實現太複雜了。
首先,你得對一個數據分段儲存,一個庫存欄位本來好好的,現在要分為20個分段庫存欄位;
其次,你在每次處理庫存的時候,還得自己寫隨機演算法,隨機挑選一個分段來處理;
最後,如果某個分段中的資料不足了,你還得自動切換到下一個分段資料去處理。
這個過程都是要手動寫程式碼實現的,還是有點工作量,挺麻煩的。
相關推薦
每秒上千訂單場景下的分散式鎖高併發優化實踐!【石杉的架構筆記】
歡迎關注個人公眾號:石杉的架構筆記(ID:shishan100) 週一至週五早8點半!精品技術文章準時送上! “上一篇文章我們聊了聊Redisson這個開源框架對Redis分散式鎖的實現原理,如果有不瞭解的兄弟可以看一下: 拜託,面試請不要再問我Redis分散式鎖的實現原理。 今天就給大家聊一個有
每秒上千訂單場景下的分散式鎖高併發優化實踐!
“上一篇文章我們聊了聊Redisson這個開源框架對Redis分散式鎖的實現原理,如果有不瞭解的兄弟可以看一下:拜託,面試請不要再問我Redis分散式鎖的實現原理。 今天就給大家聊一個有意思的話題:每秒上千訂單場景下,如何對分散式鎖的併發能力進行優化? 背景引入 首先,我們一起來看看這個問題的背景?
每秒上千訂單場景下的分散式鎖高併發優化實踐
今天就給大家聊一個有意思的話題:每秒上千訂單場景下,如何對分散式鎖的併發能力進行優化? 背景引入 首先,我們一起來看看這個問題的背景? 前段時間有個朋友在外面面試,然後有一天找我聊說:有一個國內不錯的電商公司,面試官給他出了一個場景題:
Java架構-每秒上千訂單場景下的分散式鎖高併發優化實踐!
“上一篇文章我們聊了聊Redisson這個開源框架對Redis分散式鎖的實現原理,如果有不瞭解的兄弟可以看一下:《拜託,面試請不要再問我Redis分散式鎖實現原理》。 今天就給大家聊一個有意思的話題:每秒上千訂單場景下,如何對分散式鎖的併發能力進行優化? 背景引入 首先,我們
大規模叢集下Hadoop NameNode如何承載每秒上千次的高併發訪問
歡迎關注個人公眾號:石杉的架構筆記(ID:shishan100) 週一至五早8點半!精品技術文章準時送上! 往期文章 拜託!面試請不要再問我Spring Cloud底層原理 【雙11狂歡的背後】微服務註冊中心如何承載大型系統的
【效能優化之道】每秒上萬併發下的Spring Cloud引數優化實戰!
【效能優化之道】每秒上萬併發下的Spring Cloud引數優化實戰! 中華石杉 Java後端技術 今天 本文來源:石杉的架構筆記(ID:shishan100) 往期文章: 拜託!面試請不要再問我Spring Cloud底層原理 【雙11狂
跟我來見證:《Kafka如何實現每秒上百萬的高併發寫入?》
本文來聊一下Kafka的一些架構設計原理,這也是網際網路公司面試時非常高頻的技術考點。 Kafka是高吞吐
《在主備線路場景下—Track結合SLA的使用實踐》—那些你應該知道的知識(八)
寫在前面: 在之前的一篇文章中,我們已經講過Eigrp是如何計算重分佈路由的metric值的過程。在實際生產環境中,我們常常會針對重要的外聯單位,部署兩條運營商線路以保障業務的連續性。由於對端外聯單位的特殊情況,常常不允許我們配置動態路由協議,以實現線路的自動切換,我們可能只能通過配置靜態路由實
深入理解分散式事務,高併發下分散式事務的解決方案
1、什麼是分散式事務 分散式事務就是指事務的參與者、支援事務的伺服器、資源伺服器以及事務管理器分別位於不同的分散式系統的不同節點之上。以上是百度百科的解釋,簡單的說,就是一次大的操作由不同的小操作組成,這些小的操作分佈在不同的伺服器上,且屬於不同的應用,分散式事務需要保證這
5w每秒的高併發優化:電商秒殺與搶購
一、大規模併發帶來的挑戰 在過去的工作中,我曾經面對過5w每秒的高併發秒殺功能,在這個過程中,整個Web系統遇到了很多的問題和挑戰。如果Web系統不做針對性的優化,會輕而易舉地陷入到異常狀態。我們現在一起來討論下,優化的思路和方法哈。1. 請求介面的合理設計 一個秒殺或者搶購頁面,通常分為2個部分,一個是
Redis5.0:這些場景下使用,高效還降低成本!
庫存 RoCE dcs 雲幫 在線遊戲 mark http 服務 push 華為雲分布式緩存Redis,能應對很多典型的場景,比如很多大型電商網站、視頻直播和遊戲應用等,存在大規模數據訪問,對數據查詢效率要求高,且數據結構簡單,不涉及太多關聯查詢。這種場景使用Redis,在
分散式鎖解決併發的三種實現方式
分散式鎖解決併發的三種實現方式 在很多場景中,我們為了保證資料的最終一致性,需要很多的技術方案來支援,比如分散式事務、分散式鎖等。有的時候,我們需要保證一個方法在同 一時間內只能被同一個執行緒執行。在單機環境中,Java中其實提供了很多併發處理相關的API,但是這些API在分散式場景中就無能
大規模叢集下的Hadoop高併發以及高效能架構原理總結【石杉的架構筆記】
歡迎關注個人公眾號:石杉的架構筆記(ID:shishan100) 週一至週五早8點半!精品技術文章準時送上! “ 又到週末,老規矩,週末不給大家送上“燒腦”的技術文章,我們稍微停一下腳步,總結一下之前的內容,溫故而知新。 前言 這次我們總結的,主要是之前大資料的內容。這裡筆者多說一句,筆者認為
阿里架構師技術分享:分散式/高效能/高併發/微服務/效能優化
沒有沒免費的Java架構師進階資料領取?(文末提供獲取方法) 阿里架構師技術分享:分散式任務排程系統的實現 阿里架構師技術分享:承載千萬級併發的分散式架構設計思想 阿里架構師技術分享:併發程式設計之手寫阻塞式執行緒安全佇列 阿里架構師技術分享:面試必問之mysql索
2018年,Mixin 如何在不可能三角的限制下設計一個高併發和快速確認的閃電網路
不可能三角 : 一個分散式記賬系統,不可能同時滿足 可擴充套件性,安全性,和去中心化。 可擴充套件性 :指效能,或者併發能力 安全性 :指賬本一致 去中心化 :這個最有迷惑性,因為人們會把去中心化當作目的。但是去中心的目的是提高生存能力,去中心化越徹底,生存能力越強。 比特幣如何選擇
慕課網-java高併發秒殺api之高併發優化-總結
1.架構優化 2.spring宣告式事務 宣告式事務:http://www.open-open.com/lib/view/open1414310646012.html 配置並使用Spring宣告式事務 在spring-service.xml中新增上配置事務管理器 <
Java高階架構師系統進階之路全套視訊免費獲取(Dubbo、Redis、Netty、zookeeper Spring cloud、分散式、高併發等架構技術)
效能調優 03 Spring原始碼分析 04 Spring MVC原始碼分析 05 Mybatis原始碼解析 06 網際網路分散式架構思維 07 架構開發基礎之
慕課網秒殺系統高併發優化
基本內容:秒殺系統瓶頸分析、系統部署架構、應用伺服器叢集化後的session問題、nginx負載均衡演算法、XSS與CSRF、正向代理與反向代理、Http一次通訊過程、兩類springs事務、結構體的大小與記憶體對齊。瓶頸: 不是mysql慢,也不是java慢。而是事務
【本人禿頂程式設計師】你分得清分散式、高併發與多執行緒嗎?
←←←←←←←←←←←← 快,點關注! 當提起這三個詞的時候,是不是很多人都認為分散式=高併發=多執行緒? 當面試官問到高併發系統可以採用哪些手段來解決,或者被問到分散式系統如何解決一致性的問題,是不是一臉懵逼? 確實,在一開始接觸的時候,不少人都會將三者混淆,誤以為所謂的分散式
如何分清分散式、高併發與多執行緒嗎?
當提起這三個詞的時候,是不是很多人都認為分散式=高併發=多執行緒? 當面試官問到高併發系統可以採用哪些手段來解決,或者被問到分散式系統如何解決一致性的問題,是不是一臉懵逼? 確實,在一開始接觸的時候,不少人都會將三者混淆,誤以為所謂的分散式高併發的