應用架構設計,網站演變(1)
-- 如何實現大型網站架構設計的負載均衡- http://blog.csdn.net/t4i2b10X4c22nF6A/article/details/79062766
大型網站負載均衡的利器:全域性負載均衡系統(GSLB);內容快取系統(CDN);伺服器負載均衡系統(SLB)
伺服器負載均衡系統的常見排程演算法:輪詢(Round Robin);加權輪詢(Weighted Round Robin);最少連線(Least Connections);加權最少連線(Weighted Least Connections)
無架構,不繫統,架構是大型系統的關鍵。從形上看,架構是系統的骨架,支撐和連結各個部分;從神上看,架構是系統的靈魂,深刻體現業務本質。
-- 架構可細分為業務架構、應用架構、技術架構,業務架構是戰略,應用架構是戰術,技術架構是裝備。其中應用架構承上啟下,一方面承接業務架構的落地,另一方面影響技術選型。
如何針對當前需求,選擇合適的應用架構,如何面向未來,保證架構平滑過渡,這個是軟體開發者,特別是架構師,都需要深入思考的問題。本文基於作者在大型網際網路系統的實踐和思考,和大家一起探討應用架構的選型。
本文主要內容包括:
- 應用架構本質
- 單體式
- 分散式
- SOA架構
- SOA落地方式
- 應用架構進化
應用架構本質
應用作為獨立可部署的單元,為系統劃分了明確的邊界,深刻影響系統功能組織、程式碼開發、部署和運維等各方面,應用架構定義系統有哪些應用、以及應用之間如何分工和合作。
分有兩種方式,一種是水平分,按照功能處理順序劃分應用,比如把系統分為web前端/中間服務/後臺任務,這是面向業務深度的劃分。另一種是垂直分,按照不同的業務型別劃分應用,比如進銷存系統可以劃分為三個獨立的應用,這是面向業務廣度的劃分。
應用的合反映應用之間如何協作,共同完成複雜的業務case,主要體現在應用之間的通訊機制和資料格式,通訊機制可以是同步呼叫/非同步訊息/共享DB訪問等,資料格式可以是文字/XML/JSON/二進位制等。
應用的分偏向於業務,反映業務架構,應用的合偏向於技術,影響技術架構。分降低了業務複雜度,系統更有序,合增加了技術複雜度,系統更無序。
應用架構的本質是通過系統拆分,平衡業務和技術複雜性,保證系統形散神不散。
系統採用什麼樣的應用架構,受業務複雜性影響,包括企業發展階段和業務特點;同時受技術複雜性影響,包括IT技術發展階段和內部技術人員水平。業務複雜性(包括業務量大)必然帶來技術複雜性,應用架構目標是解決業務複雜性的同時,避免技術太複雜,確保業務架構落地。
常見的應用架構有多種,下面根據系統拆分方式,以及如何平衡業務與技術的角度進行分析,討論各自的適用性,給企業應用架構選型提供參考。
單體式應用
- 架構模型
系統只有一個應用,相應地,程式碼放在一個工程裡管理;打包成一個應用;部署在一臺機器;在一個DB裡儲存資料。單體式應用的架構如下圖所示:
單體式應用採用分層架構,按照呼叫順序,從上到下一般為表示層、業務層、資料訪問層、DB層,表示層負責使用者體驗,業務層負責業務邏輯,資料訪問層負責DB層的資料存取。
單體應用在水平方向上,上下層之間職責劃分清晰;但垂直方向上缺乏清晰的邊界,上下層模組之間是多對多的依賴關係,比如業務模組1 (圖中BO1)可能呼叫資料層所有模組DAO1~3, DAO1也可能被業務層所有模組BO1~3呼叫。
單體應用通過水平分層,降低了業務複雜性;同時模組之間是程序內部呼叫,技術實現簡單。
但單體應用對系統的切分不徹底,只有水平切分,並且是邏輯上,因此適合業務比較單一,但深度上比較複雜的系統,比如TCP/IP網路通訊,從應用層/傳輸層/網路層/鏈路層,層層推進,類似這樣的系統可以方便地增加水平層次去適配。
對於廣度上覆雜的業務,由於缺乏垂直切分,強行把不同業務繫結在一起,整個系統神散形不散,帶來一系列問題。比如OTA網站包含機票/酒店/旅遊等多個垂直業務板塊,每塊都比較獨立,就不適合放在一起開發維護。
- 優缺點
單體式應用的優點和缺點都很鮮明,如下圖所示。
單體式應用的優點明顯:
- 現有IDE都是整合開發環境,非常適合單體式應用,開發、編譯、除錯一站式搞定。
一個應用包含所有功能,容易測試和部署。 - 執行在一個物理節點,環境單一,執行穩定,故障恢復簡單。
單體式應用的缺點也明顯:
- 業務邊界模糊,模組職責不清晰,當系統逐漸變大,程式碼依賴複雜,難以維護。
- 所有人同時在一個工程上開發,容易發生程式碼修改衝突,依賴複雜導致專案協調困難,並且區域性修改影響不可知,需要全覆蓋測試,需要重新部署,難以支援大團隊並行開發。
- 當系統很大時,編譯和部署耗時。
- 應用水平擴充套件難,一方面狀態在應用內部管理,無法透明路由;另一方面,不同模組對資源需求差異大,當業務量增大時,一視同仁地為所有模組增加機器導致硬體浪費。
作者之前曾在一家大型電商公司工作,當時整個網站是一個單體應用,有數百萬行程式碼,有專門的團隊負責程式碼合併,有專門的團隊負責編譯指令碼開發,有一套複雜的火車模型協調不同團隊,整套流程體系很精密很複雜,但這何嘗不是單體應用的無奈和代價。
分散式架構應用
- 架構模型
在分散式應用架構中,應用相互獨立,每個應用程式碼獨立開發,獨立部署,應用通過有限的API介面互相關聯。API介面屬於應用一部分,一般和表示層處於同一層次,兩者共享業務邏輯層,API和表示層採用同樣的web端技術,通訊協議一般使用HTTP,資料格式是JSON,應用整合方式比較簡化。
分散式架構首先對系統按照業務進行垂直切分,對廣度上覆雜的業務實現物理解耦,應用內部還是水平切分,對深度上覆雜的業務實現邏輯解耦。分散式架構也可以解決業務量大的問題,對於某些高併發/大流量系統,把系統切分為不同應用,針對資源需求特點(比如CPU/IO/儲存密集型),通過加強硬體配置滿足不同應用的需求,避免一刀切方式帶來的資源浪費。
技術上,API採用標準的HTTP/JSON進行通訊,呼叫雙方實現難度都不大,但是API
一般是“裸奔”的,在系統層面,呼叫依賴關係不透明,呼叫可靠性缺乏保障,因此只適用應用之間依賴鏈路少,呼叫量不大的系統,即應用之間耦合確實夠鬆的系統。
- 優缺點
分散式架構每個應用內部高內聚,獨立開發、測試和部署,支援開發敏捷;同時應用之間鬆耦合,業務邊界清晰,業務依賴明確,支援大專案並行開發,實現業務敏捷。
在分散式架構中,應用的表示層和API沒有物理分離,需要同時滿足自身業務需求和關聯業務需求,相互影響,比如API介面會隨著外部應用的需求經常變化,這會導致整個應用重新部署。
執行時,API以HTTP/REST方式通過網路對外提供介面,其通訊可靠性和資料的封裝性相對於程序內呼叫比較差,如果沒有一些可靠的技術機制,如路由保障/失敗重試/監控等, 裸奔的API方式將嚴重影響系統整體可用性。
SOA架構
- 架構模型
廣義上,SOA也是分散式應用架構一種,但內涵不同。
這裡有兩種型別“應用”,應用1~N是前端應用,面向使用者,服務1~N是service,只提供業務邏輯和資料。這些應用都是獨立部署,前端應用不再通過API直接關聯,而是通過後端服務共享業務邏輯。
此外相對於“裸奔”的API,SOA架構提供配套的服務治理,包括服務註冊、服務路由、服務授權、服務降級、服務監控等等。這些功能通過專門的中介軟體支援,有中心化和去中心化兩種方式,具體技術實現機制和適用場景,網上有很多專門介紹,這裡就不展開了。
SOA架構在分散式架構垂直切分的基礎上,進一步把原來單體應用的業務邏輯層獨立成service,做到物理上的徹底分離。
每個service專注於特定職責,實現系統核心業務邏輯,service之間通過互相呼叫,可以完成複雜業務邏輯,解決業務深度上的問題;同時service面向眾多的應用,以共享的方式支援邏輯複用。所以,SOA架構既體現業務的分,又體現業務的合,更多地從業務整體上考慮系統拆分。
相比分散式應用架構,基於SOA的系統有大量的service應用,整個系統基於服務呼叫,所以對服務依賴的透明性和服務呼叫的可靠性提出很高要求,需要專門的SOA框架支援,還需要配套的監控體系和自動化的運維繫統支援,技術複雜性高,SOA架構可以集中體現一個企業的IT技術能力。
- 優缺點
SOA架構優缺點如下圖所示:
相比較普通API方式,SOA架構更進一步:
1)每個service都是濃縮的精華,聚焦某方面核心業務,同時以複用的方式供整個系統共享。
2)服務作為獨立的應用,獨立部署,介面清晰,很容易做自動化測試和部署。
3)服務是無狀態的,很容易做水平擴充套件;通過容器虛擬化技術,實現故障隔離和資源高效利用,業務量大的時候,加機器即可。
4)基於SOA的系統可以根據服務執行情況,靈活調控服務資源,包括服務上下架、服務升降級等,使系統真正具備可運營的能力。
當然天下沒有免費的午餐,SOA也帶來了額外複雜性和弊端:
1)系統依賴複雜,給開發/測試/部署帶來一系列挑戰。
2)端到端的呼叫鏈路長,可靠性降低,依賴網路狀況、服務框架及具體service的質量。
3)分散式資料一致性和分散式事務支援困難,一般通過最終一致性簡化解決。
4)端到端的測試和排障複雜,SOA對運維提出更高要求。
SOA落地方式
在實踐中,SOA架構不斷深入發展,具體落地形式也多種多樣。
1)面向外部SOA
SOA的前身是web service,web service初衷是企業之間通過Internet進行互聯,如下圖所示:
每個公司把自己的優勢資源通過web service釋出,如圖中天氣服務/機票服務/酒店預訂服務來自不同公司,其他企業可以直接呼叫服務或整合多個服務,實現企業間資源共享。
2)面向應用SOA
面向應用SOA把原單體應用裡的業務邏輯層剝離出來,作為單獨的服務對外提供。
舉一個電商的例子,這裡有兩個應用,顧客使用的商品詳情頁,展示商品的資訊、商品庫存,商品價格;內部客服人員使用的客服系統,根據顧客來電要求,修改訂單,同時也需要獲取商品的基本資訊、價格資訊等。
經過SOA改造後,應用架構如下圖所示:
這裡的service實現底層資料對於前端頁面的透明化,表示層和業務邏輯各自獨立維護,同時全部業務邏輯對其他應用開放,新應用可以自由整合來自多個服務的介面,快速支援業務創新。
面向應用的SOA架構對系統進行物理上的水平切分,結果是表示層單飛,邏輯層對外全開放。但每個service是原系統業務邏輯的封裝,介面設計面向原應用的業務case,如果其它應用的需求有差異,則自己建立service訪問底層資料。如此導致service職責不夠聚焦,類似的介面分散化,同時底層資料表被多方訪問,資料模型修改困難,資料一致性難以保障。
最終系統整體依賴複雜,容易形成網狀結構,修改時,往往牽一髮動全身。
3)微核心SOA
每個企業都有自己的核心資料,比如對於電商系統來說,使用者/商品/訂單/庫存/價格都是核心資料,稱之為主資料。微核心SOA聚焦各類主資料,封裝相關表的所有訪問,架構示意如下:
每個服務獨佔式地封裝對應主資料表的訪問,這些服務構成系統的基礎服務,一起組成系統的微核心,供所有上層應用共享。
微核心服務是原子服務,介面粒度比較細,可以在其上構造聚合服務,為上層應用提供粗粒度服務。可以是資訊聚合,比如圖中商品聚合服務整合商品的基本資訊/庫存/價格;也可以是流程聚合,比如下單介面,呼叫來自多個服務的介面,共同完成複雜的下單操作。
這裡服務是分層次的,聚合服務是上層,基礎服務是底層,依賴規則如下:
- 上層服務可以呼叫同層服務和基礎服務
- 基礎服務是原子服務,不可相互呼叫
- 前端應用可呼叫聚合服務和跨層呼叫基礎服務
微核心的微表示服務數量有限,介面粒度細;核心表示這些基礎服務處於呼叫底層,負責核心資料和業務,這和作業系統的核心概念上類似,主資料相當於核心的硬體,如cpu/記憶體/外存等,微核心的各個基礎服務分別負責這些核心資源的管理,遮蔽底層的複雜性,對上層應用提供統一入口和透明化訪問。
最近微服務很火,其特徵是職責單一、介面粒度細、輕量級通訊協議等,微核心SOA架構有微服務的形,同時有業務核心的神,是架構形散神不散思想的很好體現,這個在淘寶、京東、一號店等大型電商系統都已有豐富實踐。
4)方式比較
面向企業外部SOA,業務場景有特殊性,不深入分析,這裡主要比較面向應用SOA和微核心SOA的區別,一個大型B2C電商系統,應用和主資料是多對多依賴關係,如下圖所示:
面向應用的服務從特定應用出發,整合應用對相關資料的訪問需求;微核心服務從特定主資料為中心,收斂各個業務對資料的訪問需求。
在面向應用的服務設計下,資料表的訪問入口是發散的,來自多個應用,這帶來一系列弊端:
1)資料模型碎片化
每個應用都會基於自己的需求,往表裡加欄位,很多電商的商品表/訂單表有多達200個欄位,都是野蠻增長,缺少控制的結果。
2)資料模型修改困難
類似的訪問需求散佈在多個服務,缺乏整合,同時表schema修改會影響很多服務和應用。
3)連線資源利用率低
多個服務直連資料庫,並且每個服務會盡可能多地配置連線數,在應用數量多,業務併發量大的情況下,往往導致資料庫連線數不夠。
微核心SOA通過收斂對主資料的訪問,保證資料模型一致性、優化介面和有效利用資料庫連線資源。同時通過服務分層,簡化系統依賴關係。更為重要的是,微核心服務保證了業務模型的一致性,比如電商系統的商品體系,包含單品/系列商品/組合商品/搭售商品/虛擬商品等一系列複雜概念,這些複雜邏輯在基礎商品服務裡處理,對上層業務透明一致。
如果業務模式簡單,應用數量少,特定主資料的訪問絕大多數(比如說80%)來自某個應用,則服務設計以應用為中心是可以的,不利影響比較小。
對於大型網際網路系統,業務廣度和深度都複雜,但無論多複雜的系統,主資料型別都是有限的,可以通過聚焦有限的基礎業務,以此支援無限的應用業務,結果是底層業務模型穩定,上層業務可以靈活擴充套件。
面向應用的服務設計是SOA初級階段,從具體業務著手,自底向上,難度小;微核心服務設計是SOA高階階段,從全域性著手,對業務和資料模型高度抽象,自頂向下,難度大。
值得注意的是,在提供基礎服務同時,每個應用也可以建立自己需要的服務(但主資料的訪問必須通過基礎服務),所以微核心的服務和麵嚮應用的服務可以有機結合在一起,當業務應用變得很多,並且不斷增長,可以考慮逐步往基礎服務過渡,整合特定主資料有關的業務邏輯。
順便提一下,應用架構會影響組織架構,如果採用面向應用的服務設計,具體service一般由相關應用的團隊負責;如果是微核心的服務設計,一般由單獨的共享服務部門負責所有基礎服務開發,和各個業務研發部門並列,保證設計的中立性和需求響應的及時性。
應用架構的進化
軟體是人類活動的虛擬,業務架構是生產活動的體現,應用架構是具體分工合作關係的體現。
單體應用類似原始氏族時代,氏族內部有簡單分工,氏族之間沒有聯絡;分散式架構類似封建社會,每個家庭自給自足,家庭之間有少量交換關係;SOA架構類似工業時代,企業提供各種成品服務,我為人人,人人為我,相互依賴。微核心的SOA架構類似後工業時代,有些企業聚焦提供水電煤等基礎設施服務,其他企業在之上提供生活服務,依賴有層次。
業務架構是生產力,應用架構是生產關係,技術架構是生產工具。業務架構決定應用架構,應用架構需要適配業務架構,並隨著業務架構不斷進化,同時應用架構依託技術架構最終落地。
企業一開始業務比較簡單,比如進銷存,此時面向內部使用者,提供簡單的資訊管理系統(MIS),支援資料增刪改查即可,單體應用可以滿足要求。
隨著業務深入,進銷存每塊業務都變複雜,同時新增客戶關係管理,以更好支援營銷,業務的深度和廣度都增加,這時需要對系統按照業務拆分,變成一個分散式系統。
更進一步,企業轉向網際網路+戰略,拓展線上交易,線上系統和內部系統業務類似,沒必要重做一套,此時把內部系統的邏輯做服務化改造,同時供線上線下系統使用,變成一個簡單的SOA架構。
緊接著業務模式越來越複雜,訂單、商品、庫存、價格每塊玩法都很深入,比如價格區分會員等級,訪問渠道(無線還是PC),銷售方式(團購還是普通)等,還有大量的價格促銷,這些規則很複雜,容易相互衝突,需要把分散到各個業務的價格邏輯進行統一管理,以基礎價格服務的方式透明地提供給上層應用,變成一個微核心的SOA架構。
同時不管是企業內部使用者,還是外部顧客所需要的功能,都由很多細分的應用提供支援,需要提供portal,整合相關應用,為不同使用者提供統一檢視,頂層變成一個AOA的架構(application orientated architecture)。
隨著業務和系統不斷進化,最後一個比較完善的大型網際網路應用架構如下圖所示:
最終整個系統化整為零,形神兼備,支援積木式拼裝,支援開發敏捷和業務敏捷。
應用架構,需要站在業務和技術中間,在正確的時間點做正確的架構選擇,保證系統有序進化。