深度剖析Spring Cloud底層原理
毫無疑問,Spring Cloud 是目前微服務架構領域的翹楚,無數的書籍部落格都在講解這個技術。
不過大多數講解還停留在對 Spring Cloud 功能使用的層面,其底層的很多原理,很多人可能並不知曉。
實際上,Spring Cloud 是一個全家桶式的技術棧,它包含了很多元件。本文先從最核心的幾個元件,也就是 Eureka、Ribbon、Feign、Hystrix、Zuul 入手,來剖析其底層的工作原理。
業務場景介紹
先來給大家說一個業務場景,假設咱們現在開發一個電商網站,要實現支付訂單的功能。
流程如下:
建立一個訂單後,如果使用者立刻支付了這個訂單,我們需要將訂單狀態更新為“已支付”。
扣減相應的商品庫存。
通知倉儲中心,進行發貨。
給使用者的這次購物增加相應的積分。
針對上述流程,我們需要有訂單服務、庫存服務、倉儲服務、積分服務。
整個流程的大體思路如下:
使用者針對一個訂單完成支付之後,就會去找訂單服務,更新訂單狀態。
訂單服務呼叫庫存服務,完成相應功能。
訂單服務呼叫倉儲服務,完成相應功能。
訂單服務呼叫積分服務,完成相應功能。
至此,整個支付訂單的業務流程結束。下面這張圖,清晰表明了各服務間的呼叫過程:
好!有了業務場景之後,咱們就一起來看看 Spring Cloud 微服務架構中,這幾個元件如何相互協作,各自發揮的作用以及其背後的原理。
Spring Cloud 核心元件:Eureka
咱們來考慮第一個問題:訂單服務想要呼叫庫存服務、倉儲服務,或者積分服務,怎麼呼叫?
訂單服務壓根兒就不知道人家庫存服務在哪臺機器上啊!它就算想要發起一個請求,都不知道傳送給誰,有心無力!
這時候,就輪到 Spring Cloud Eureka 出場了。Eureka 是微服務架構中的註冊中心,專門負責服務的註冊與發現。
咱們來看看下面的這張圖,結合圖來仔細剖析一下整個流程:
如上圖所示,庫存服務、倉儲服務、積分服務中都有一個 Eureka Client 元件,這個元件專門負責將這個服務的資訊註冊到 Eureka Server 中。
說白了,就是告訴 Eureka Server,自己在哪臺機器上,監聽著哪個埠。
而 Eureka Server 是一個註冊中心,裡面有一個登錄檔,儲存了各服務所在的機器和埠號。
訂單服務裡也有一個 Eureka Client 元件,這個 Eureka Client 元件會找 Eureka Server 問一下:庫存服務在哪臺機器啊?監聽著哪個埠啊?倉儲服務呢?積分服務呢?
然後就可以把這些相關資訊從 Eureka Server 的登錄檔中拉取到自己的本地快取中來。
這時如果訂單服務想要呼叫庫存服務,不就可以找自己本地的 Eureka Client 問一下庫存服務在哪臺機器?監聽哪個埠嗎?
收到響應後,緊接著就可以傳送一個請求過去,呼叫庫存服務扣減庫存的那個介面!同理,如果訂單服務要呼叫倉儲服務、積分服務,也是如法炮製。
總結一下:
Eureka Client:負責將這個服務的資訊註冊到 Eureka Server 中。
Eureka Server:註冊中心,裡面有一個登錄檔,儲存了各個服務所在的機器和埠號。
Spring Cloud 核心元件:Feign
現在訂單服務確實知道庫存服務、積分服務、倉庫服務在哪裡了,同時也監聽著哪些埠號了。
但是新問題又來了:難道訂單服務要自己寫一大堆程式碼,跟其他服務建立網路連線,然後構造一個複雜的請求,接著傳送請求過去,最後對返回的響應結果再寫一大堆程式碼來處理嗎?
這是上述流程翻譯的程式碼片段,咱們一起來看看,體會一下這種絕望而無助的感受!!!
友情提示,前方高能:
看完上面那一大段程式碼,有沒有感到後背發涼、一身冷汗?實際上你進行服務間呼叫時,如果每次都手寫程式碼,程式碼量比上面那段要多至少幾倍,所以這個事壓根兒就不是地球人能幹的。
既然如此,那怎麼辦呢?別急,Feign 早已為我們提供好了優雅的解決方案。來看看如果用 Feign 的話,你的訂單服務呼叫庫存服務的程式碼會變成啥樣?
看完上面的程式碼什麼感覺?是不是感覺整個世界都乾淨了,又找到了活下去的勇氣!
沒有底層的建立連線、構造請求、解析響應的程式碼,直接就是用註解定義一個 Feign Client 介面,然後呼叫那個介面就可以了。
人家 Feign Client 會在底層根據你的註解,跟你指定的服務建立連線、構造請求、發起請求、獲取響應、解析響應,等等。這一系列髒活累活,人家 Feign 全給你幹了。
那麼問題來了,Feign 是如何做到這麼神奇的呢?很簡單,Feign 的一個關鍵機制就是使用了動態代理。
咱們一起來看看上面的圖,結合圖來分析:
首先,如果你對某個介面定義了 @FeignClient 註解,Feign 就會針對這個介面建立一個動態代理。
接著你要是呼叫那個介面,本質就是會呼叫 Feign 建立的動態代理,這是核心中的核心。
Feign的動態代理會根據你在介面上的 @RequestMapping 等註解,來動態構造出你要請求的服務的地址。
最後針對這個地址,發起請求、解析響應。
Spring Cloud 核心元件:Ribbon
說完了 Feign,還沒完。現在新的問題又來了,如果人家庫存服務部署在了 5 臺機器上。
如下所示:
192.168.169:9000
192.168.170:9000
192.168.171:9000
192.168.172:9000
192.168.173:9000
這下麻煩了!人家 Feign 怎麼知道該請求哪臺機器呢?這時 Spring Cloud Ribbon 就派上用場了。
Ribbon 就是專門解決這個問題的。它的作用是負載均衡,會幫你在每次請求時選擇一臺機器,均勻的把請求分發到各個機器上。
Ribbon 的負載均衡預設使用的最經典的 Round Robin 輪詢演算法。這是啥?
簡單來說,就是如果訂單服務對庫存服務發起 10 次請求,那就先讓你請求第 1 臺機器、然後是第 2 臺機器、第 3 臺機器、第 4 臺機器、第 5 臺機器,接著再來—個迴圈,第 1 臺機器、第 2 臺機器。。。以此類推。
此外,Ribbon 是和 Feign 以及 Eureka 緊密協作,完成工作的,具體如下:
首先 Ribbon 會從 Eureka Client 裡獲取到對應的服務登錄檔,也就知道了所有的服務都部署在了哪些機器上,在監聽哪些埠號。
然後 Ribbon 就可以使用預設的 Round Robin 演算法,從中選擇一臺機器。
Feign 就會針對這臺機器,構造併發起請求。
對上述整個過程,再來一張圖,幫助大家更深刻的理解:
Spring Cloud 核心元件:Hystrix
在微服務架構裡,一個系統會有很多的服務。以本文的業務場景為例:訂單服務在一個業務流程裡需要呼叫三個服務。
現在假設訂單服務自己最多隻有 100 個執行緒可以處理請求,然後呢,積分服務不幸的掛了,每次訂單服務呼叫積分服務的時候,都會卡住幾秒鐘,然後丟擲—個超時異常。
咱們一起來分析一下,這樣會導致什麼問題?如果系統處於高併發的場景下,大量請求湧過來的時候,訂單服務的 100 個執行緒都會卡在請求積分服務這塊,導致訂單服務沒有一個執行緒可以處理請求。
然後就會導致別人請求訂單服務的時候,發現訂單服務也掛了,不響應任何請求了。
上面這個,就是微服務架構中恐怖的服務雪崩問題,如下圖所示:
如上圖,這麼多服務互相呼叫,要是不做任何保護的話,某一個服務掛了,就會引起連鎖反應,導致別的服務也掛。
比如積分服務掛了,會導致訂單服務的執行緒全部卡在請求積分服務這裡,沒有一個執行緒可以工作,瞬間導致訂單服務也掛了,別人請求訂單服務全部會卡住,無法響應。
但是我們思考一下,就算積分服務掛了,訂單服務也可以不用掛啊!為什麼?
我們結合業務來看:支付訂單的時候,只要把庫存扣減了,然後通知倉庫發貨就 OK 了。
如果積分服務掛了,大不了等它恢復之後,慢慢人肉手工恢復資料!為啥一定要因為一個積分服務掛了,就直接導致訂單服務也掛了呢?不可以接受!
現在問題分析完了,如何解決?這時就輪到 Hystrix 閃亮登場了。Hystrix 是隔離、熔斷以及降級的一個框架。啥意思呢?
說白了,Hystrix 會搞很多個小小的執行緒池,比如訂單服務請求庫存服務是一個執行緒池,請求倉儲服務是一個執行緒池,請求積分服務是一個執行緒池。每個執行緒池裡的執行緒就僅僅用於請求那個服務。
打個比方:現在很不幸,積分服務掛了,會咋樣?當然會導致訂單服務裡那個用來呼叫積分服務的執行緒都卡死不能工作了啊!
但由於訂單服務呼叫庫存服務、倉儲服務的這兩個執行緒池都是正常工作的,所以這兩個服務不會受到任何影響。
這個時候如果別人請求訂單服務,訂單服務還是可以正常呼叫庫存服務扣減庫存,呼叫倉儲服務通知發貨。
只不過呼叫積分服務的時候,每次都會報錯。但是如果積分服務都掛了,每次呼叫都要去卡住幾秒鐘幹啥呢?有意義嗎?當然沒有!
所以我們直接對積分服務熔斷不就得了,比如在 5 分鐘內請求積分服務直接就返回了,不要去走網路請求卡住幾秒鐘,這個過程,就是所謂的熔斷!
那人家又說,兄弟,積分服務掛了你就熔斷,好歹你乾點兒什麼啊!別啥都不幹就直接返回啊?
沒問題,咱們就來個降級:每次呼叫積分服務,你就在資料庫裡記錄一條訊息,說給某某使用者增加了多少積分,因為積分服務掛了,導致沒增加成功!
這樣等積分服務恢復了,你可以根據這些記錄手工加一下積分。這個過程,就是所謂的降級。
為幫助大家更直觀的理解,接下來用一張圖,梳理一下 Hystrix 隔離、熔斷和降級的全流程:
Spring Cloud 核心元件:Zuul
說完了 Hystrix,接著給大家說說最後一個元件:Zuul,也就是微服務閘道器。這個元件是負責網路路由的。
不懂網路路由?行,那我給你說說,如果沒有 Zuul 的日常工作會怎樣?
假設你後臺部署了幾百個服務,現在有個前端兄弟,人家請求是直接從瀏覽器那兒發過來的。
打個比方:人家要請求一下庫存服務,你難道還讓人家記著這服務的名字叫做 inventory-service?部署在 5 臺機器上?
就算人家肯記住這一個,你後臺可有幾百個服務的名稱和地址呢?難不成人家請求一個,就得記住一個?你要這樣玩兒,那真是友誼的小船,說翻就翻!
上面這種情況,壓根兒是不現實的。所以一般微服務架構中都必然會設計一個閘道器在裡面。
像 Android、iOS、PC 前端、微信小程式、H5 等等,不用去關心後端有幾百個服務,就知道有一個閘道器,所有請求都往閘道器走,閘道器會根據請求中的一些特徵,將請求轉發給後端的各個服務。
而且有一個閘道器之後,還有很多好處,比如可以做統一的降級、限流、認證授權、安全,等等。
如果想免費學習Java工程化、高效能及分散式、深入淺出。微服務、Spring,MyBatis,Netty原始碼分析的朋友可以加我的Java進階群:705127209,群裡有阿里大牛直播講解技術,以及Java大型網際網路技術的視訊免費分享給大家。
總結
最後再來總結一下,上述幾個 Spring Cloud 核心元件,在微服務架構中,分別扮演的角色:
Eureka:各個服務啟動時,Eureka Client 都會將服務註冊到 Eureka Server,並且 Eureka Client 還可以反過來從 Eureka Server 拉取登錄檔,從而知道其他服務在哪裡。
Ribbon:服務間發起請求的時候,基於 Ribbon 做負載均衡,從一個服務的多臺機器中選擇一臺。
Feign:基於 Feign 的動態代理機制,根據註解和選擇的機器,拼接請求 URL 地址,發起請求。
Hystrix:發起請求是通過 Hystrix 的執行緒池來走的,不同的服務走不同的執行緒池,實現了不同服務呼叫的隔離,避免了服務雪崩的問題。
Zuul:如果前端、移動端要呼叫後端系統,統一從 Zuul 閘道器進入,由 Zuul 閘道器轉發請求給對應的服務。
以上就是我們通過一個電商業務場景,闡述了 Spring Cloud 微服務架構幾個核心元件的底層原理。
文字總結還不夠直觀?沒問題!我們將 Spring Cloud 的 5 個核心元件通過一張圖串聯起來,再來直觀的感受一下其底層的架構