1. 程式人生 > 其它 >docker搭建kafka叢集,程式設計師如何解決中年危機

docker搭建kafka叢集,程式設計師如何解決中年危機

一. 什麼是架構和架構本質

在軟體行業,對於什麼是架構,都有很多的爭論,每個人都有自己的理解。 此君說的架構和彼君理解的架構未必是一回事。因此我們在討論架構之前,我們先討論架構的概念定義,概念是人認識這個世界的基礎,並用來溝通的手段,如果對架構概念理解不一樣,那溝通起來自然不順暢。

Linux有架構,MySQL有架構,JVM也有架構,使用Java開發、MySQL儲存、跑在Linux上的業務系統也有架構,應該關注哪一個?想要清楚以上問題需要梳理幾個有關係又相似的概念:系統與子系統、模組與組建、框架與架構:

1. 系統與子系統

系統:泛指由一群有關聯的個體組成,根據某種規則運作,能完成個別元件不能獨立完成的工作能力的群體。

子系統:也是由一群關聯的個體組成的系統,多半是在更大的系統中的一部分。

2. 模組與元件

都是系統的組成部分,從不同角度拆分系統而已。模組是邏輯單元,元件是物理單元。

模組就是從邏輯上將系統分解, 即分而治之, 將複雜問題簡單化。模組的粒度可大可小, 可以是系統,幾個子系統、某個服務,函式, 類,方法、 功能塊等等。

元件可以包括應用服務、資料庫、網路、物理機、還可以包括MQ、容器、Nginx等技術元件。

3. 框架與架構

框架是元件實現的規範,例如:MVC、MVP、MVVM等,是提供基礎功能的產品,例如開源框架:Ruby on Rails、Spring、Laravel、Django等,這是可以拿來直接使用或者在此基礎上二次開發。

框架是規範,架構是結構。

我在這重新定義架構:軟體架構指軟體系統的頂層結構。

架構是經過系統性地思考, 權衡利弊之後在現有資源約束下的最合理決策, 最終明確的系統骨架: 包括子系統, 模組, 元件. 以及他們之間協作關係, 約束規範, 指導原則.並由它來指導團隊中的每個人思想層面上的一致。涉及四方面:

  1. 系統性思考的合理決策:比如技術選型、解決方案等。
  2. 明確的系統骨架:明確系統有哪些部分組成。
  3. 系統協作關係:各個組成部分如何協作來實現業務請求。
  4. 約束規範和指導原則:保證系統有序,高效、穩定執行。

因此架構師具備能力:理解業務,全域性把控,選擇合適技術,解決關鍵問題、指導研發落地實施

架構的本質就是對系統進行有序化地重構以致符合當前業務的發展,並可以快速擴充套件。

那什麼樣的系統要考慮做架構設計 技術不會平白無故的出和自驅動發展起來,而架構的發展和需求是基於業務的驅動。

架構設計完全是為了業務,

  1. 需求相對複雜.
  2. 非功能性需求在整個系統佔據重要位置.
  3. 系統生命週期長,有擴充套件性需求.
  4. 系統基於元件或者整合的需要.
  5. 業務流程再造的需要.

二. 架構分層和分類

架構分類可細分為業務架構、應用架構、技術架構, 程式碼架構, 部署架構

業務架構是戰略,應用架構是戰術,技術架構是裝備。其中應用架構承上啟下,一方面承接業務架構的落地,另一方面影響技術選型。

熟悉業務,形成業務架構,根據業務架構,做出相應的應用架構,最後技術架構落地實施。

如何針對當前需求,選擇合適的應用架構,如何面向未來,保證架構平滑過渡,這個是軟體開發者,特別是架構師,都需要深入思考的問題。

1. 業務架構(俯視架構)

包括業務規劃,業務模組、業務流程,對整個系統的業務進行拆分,對領域模型進行設計,把現實的業務轉化成抽象物件。

沒有最優的架構,只有最合適的架構,一切系統設計原則都要以解決業務問題為最終目標,脫離實際業務的技術情懷架構往往會給系統帶入大坑,任何不基於業務做異想天開的架構都是耍流氓。

所有問題的前提要搞清楚我們今天面臨的業務量有多大,增長走勢是什麼樣,而且解決高併發的過程,一定是一個循序漸進逐步的過程。合理的架構能夠提前預見業務發展1~2年為宜。這樣可以付出較為合理的代價換來真正達到技術引領業務成長的效果。

看看京東業務架構(網上分享圖):

2. 應用架構(剖面架構,也叫邏輯架構圖)

硬體到應用的抽象,包括抽象層和程式設計介面。應用架構和業務架構是相輔相成的關係。業務架構的每一部分都有應用架構。

類似:

應用架構:應用作為獨立可部署的單元,為系統劃分了明確的邊界,深刻影響系統功能組織、程式碼開發、部署和運維等各方面. 應用架構定義系統有哪些應用、以及應用之間如何分工和合作。這裡所謂應用就是各個邏輯模組或者子系統。

應用架構圖關鍵有2點:

①. 職責劃分: 明確應用(各個邏輯模組或者子系統)邊界

  • 邏輯分層
  • 子系統、模組定義。
  • 關鍵類。

②. 職責之間的協作:

  • 介面協議:應用對外輸出的介面。
  • 協作關係:應用之間的呼叫關係。

應用分層有兩種方式:

  • 一種是水平分(橫向),按照功能處理順序劃分應用,比如把系統分為web前端/中間服務/後臺任務,這是面向業務深度的劃分。
  • 另一種是垂直分(縱向),按照不同的業務型別劃分應用,比如進銷存系統可以劃分為三個獨立的應用,這是面向業務廣度的劃分。

應用的合反映應用之間如何協作,共同完成複雜的業務case,主要體現在應用之間的通訊機制和資料格式,通訊機制可以是同步呼叫/非同步訊息/共享DB訪問等,資料格式可以是文字/XML/JSON/二進位制等。

應用的分偏向於業務,反映業務架構,應用的合偏向於技術,影響技術架構。分降低了業務複雜度,系統更有序,合增加了技術複雜度,系統更無序。

應用架構的本質是通過系統拆分,平衡業務和技術複雜性,保證系統形散神不散。

系統採用什麼樣的應用架構,受業務複雜性影響,包括企業發展階段和業務特點;同時受技術複雜性影響,包括IT技術發展階段和內部技術人員水平。業務複雜性(包括業務量大)必然帶來技術複雜性,應用架構目標是解決業務複雜性的同時,避免技術太複雜,確保業務架構落地。

3. 資料架構

資料架構指導資料庫的設計. 不僅僅要考慮開發中涉及到的資料庫,實體模型,也要考慮物理架構中資料儲存的設計。

4. 程式碼架構(也叫開發架構)

子系統程式碼架構主要為開發人員提供切實可行的指導,如果程式碼架構設計不足,就會造成影響全域性的架構設計。比如公司內不同的開發團隊使用不同的技術棧或者元件,結果公司整體架構設計就會失控。

程式碼架構主要定義:

①. 程式碼單元:

  • 配置設計
  • 框架、類庫。

②. 程式碼單元組織:

  • 編碼規範,編碼的慣例。
  • 專案模組劃分
  • 頂層檔案結構設計,比如mvc設計。
  • 依賴關係

5. 技術架構

技術架構:確定組成應用系統的實際執行元件(lvs,nginx,tomcat,php-fpm等),這些執行元件之間的關係,以及部署到硬體的策略。

技術架構主要考慮系統的非功能性特徵,對系統的高可用、高效能、擴充套件、安全、伸縮性、簡潔等做系統級的把握。

系統架構的設計要求架構師具備軟體和硬體的功能和效能的過硬知識,這也是架構設計工作中最為困難的工作。

6. 部署拓撲架構圖(實際物理架構圖)

拓撲架構,包括架構部署了幾個節點,節點之間的關係,伺服器的高可用,網路介面和協議等,決定了應用如何執行,執行的效能,可維護性,可擴充套件性,是所有架構的基礎。這個圖主要是運維工程師主要關注的物件。

物理架構主要考慮硬體選擇和拓撲結構,軟體到硬體的對映,軟硬體的相互影響。

三. 架構級別

我們使用金字塔的架構級別來說明,上層級別包含下層:

  • 系統級:即整個系統內各部分的關係以及如何治理:分層
  • 應用級:即單個應用的整體架構,及其與系統內單個應用的關係等。
  • 模組級:即應用內部的模組架構,如程式碼的模組化、資料和狀態的管理等。
  • 程式碼級:即從程式碼級別保障架構實施。

戰略設計與戰術設計

基於架構金字塔,我們有了系統架構的戰略設計與戰術設計的完美結合:

  • 戰略設計:業務架構用於指導架構師如何進行系統架構設計。
  • 戰術設計:應用架構要根據業務架構來設計。
  • 戰術實施:應用架構確定以後,就是技術選型。

四. 應用架構演進

業務架構是生產力,應用架構是生產關係,技術架構是生產工具。業務架構決定應用架構,應用架構需要適配業務架構,並隨著業務架構不斷進化,同時應用架構依託技術架構最終落地。

架構演進路程:單體應用→分散式應用服務化→微服務

1. 單體應用

企業一開始業務比較簡單,只應用某個簡單場景,應用服務支援資料增刪改查和簡單的邏輯即可,單體應用可以滿足要求。

典型的三級架構,前端(Web/手機端)+中間業務邏輯層+資料庫層。這是一種典型的Java Spring MVC或者Python Django框架的應用。其架構圖如下所示:

針對單體應用,非功能性需求的做法:

  1. 效能需求:使用快取改善效能
  2. 併發需求:使用叢集改善併發
  3. 讀寫分離:資料庫地讀寫分離
  4. 使用反向代理和cdn加速
  5. 使用分散式檔案和分散式資料庫

單體架構的應用比較容易部署、測試, 在專案的初期,單體應用可以很好地執行。然而,隨著需求的不斷增加, 越來越多的人加入開發團隊,程式碼庫也在飛速地膨脹。慢慢地,單體應用變得越來越臃腫,可維護性、靈活性逐漸降低,維護成本越來越高。下面是單體架構應用的一些缺點:

  • 複雜性高:以一個百萬行級別的單體應用為例,整個專案包含的模組非常多、模組的邊界模糊、 依賴關係不清晰、 程式碼質量參差不齊、 混亂地堆砌在一起。可想而知整個專案非常複雜。 每次修改程式碼都心驚膽戰, 甚至新增一個簡單的功能, 或者修改一個Bug都會帶來隱含的缺陷。
  • 技術債務: 隨著時間推移、需求變更和人員更迭,會逐漸形成應用程式的技術債務, 並且越積 越多。“ 不壞不修”, 這在軟體開發中非常常見, 在單體應用中這種思想更甚。 已使用的系統設計或程式碼難以被修改,因為應用程式中的其他模組可能會以意料之外的方式使用它。
  • 部署頻率低: 隨著程式碼的增多,構建和部署的時間也會增加。而在單體應用中, 每次功能的變更或缺陷的修復都會導致需要重新部署整個應用。全量部署的方式耗時長、 影響範圍大、 風險高, 這使得單體應用專案上線部署的頻率較低。 而部署頻率低又導致兩次釋出之間會有大量的功能變更和缺陷修復,出錯率比較高。
  • 可靠性差: 某個應用Bug,例如死迴圈、記憶體溢位等, 可能會導致整個應用的崩潰。
  • 擴充套件能力受限: 單體應用只能作為一個整體進行擴充套件,無法根據業務模組的需要進行伸縮。例如,應用中有的模組是計算密集型的,它需要強勁的CPU; 有的模組則是IO密集型的,需要更大的記憶體。 由於這些模組部署在一起,不得不在硬體的選擇上做出妥協。
  • 阻礙技術創新: 單體應用往往使用統一的技術平臺或方案解決所有的問題, 團隊中的每個成員 都必須使用相同的開發語言和框架,要想引入新框架或新技術平臺會非常困難。

2. 分散式

隨著業務深入,業務要求的產品功能越來越多,每個業務模組邏輯也都變得更加複雜,業務的深度和廣度都增加,使得單體應用變得越來越臃腫,可維護性、靈活性逐漸降低,增加新功能開發週期越來越長,維護成本越來越高。

這時需要對系統按照業務功能模組拆分,將各個模組服務化,變成一個分散式系統。業務模組分別部署在不同的伺服器上,各個業務模組之間通過介面進行資料互動。

該架構相對於單體架構來說,這種架構提供了負載均衡的能力,大大提高了系統負載能力,解決了網站高併發的需求。另外還有以下特點:

  • 降低了耦合度:把模組拆分,使用介面通訊,降低模組之間的耦合度。
  • 責任清晰:把專案拆分成若干個子專案,不同的團隊負責不同的子專案。
  • 擴充套件方便:增加功能時只需要再增加一個子專案,呼叫其他系統的介面就可以。
  • 部署方便:可以靈活的進行分散式部署。
  • 提高程式碼的複用性:比如Service層,如果不採用分散式rest服務方式架構就會在手機Wap商城,微信商城,PC,Android,iOS每個端都要寫一個Service層邏輯,開發量大,難以維護一起升級,這時候就可以採用分散式rest服務方式,公用一個service層。
  • 缺點:系統之間的互動要使用遠端通訊,介面開發增大工作量,但是利大於弊。

3. 微服務

緊接著業務模式越來越複雜,訂單、商品、庫存、價格等各個模組都很深入,比如價格區分會員等級,訪問渠道(app還是PC),銷售方式(團購還是普通)等,還有大量的價格促銷,這些規則很複雜,容易相互衝突,需要把分散到各個業務的價格邏輯進行統一管理,以基礎價格服務的方式透明地提供給上層應用,變成一個微核心的服務化架構,即微服務。

微服務的特點:

  • 易於開發和維護: 一個微服務只會關注一個特定的業務功能,所以它業務清晰、程式碼量較少。 開發和維護單個微服務相對簡單。而整個應用是由若干個微服務構建而成的,所以整個應用也會被維持在一個可控狀態。
  • 單個微服務啟動較快: 單個微服務程式碼量較少, 所以啟動會比較快。
  • 區域性修改容易部署: 單體應用只要有修改,就得重新部署整個應用,微服務解決了這樣的問題。 一般來說,對某個微服務進行修改,只需要重新部署這個服務即可。
  • 技術棧不受限:在微服務架構中,可以結合專案業務及團隊的特點,合理地選擇技術棧。例如某些服務可使用關係型資料庫MySQL;某些微服務有圖形計算的需求,可以使用Neo4j;甚至可根據需要,部分微服務使用Java開發,部分微服務使用Node.js開發。

微服務雖然有很多吸引人的地方,但它並不是免費的午餐,使用它是有代價的。使用微服務架構面臨的挑戰。

  • 運維要求較高:更多的服務意味著更多的運維投入。在單體架構中,只需要保證一個應用的正常執行。而在微服務中,需要保證幾十甚至幾百個服務服務的正常執行與協作,這給運維帶來了很大的挑戰。
  • 分散式固有的複雜性:使用微服務構建的是分散式系統。對於一個分散式系統,系統容錯、網路延遲、分散式事務等都會帶來巨大的挑戰。
  • 介面調整成本高:微服務之間通過介面進行通訊。如果修改某一個微服務的API,可能所有使用了該介面的微服務都需要做調整。
  • 重複勞動:很多服務可能都會使用到相同的功能,而這個功能並沒有達到分解為一個微服務的程度,這個時候,可能各個服務都會開發這一功能,從而導致程式碼重複。儘管可以使用共享庫來解決這個問題(例如可以將這個功能封裝成公共元件,需要該功能的微服務引用該元件),但共享庫在多語言環境下就不一定行得通了。

五. 衡量架構的合理性

架構為業務服務,沒有最優的架構,只有最合適的架構,架構始終以高效,穩定,安全為目標來衡量其合理性。

合理的架構設計:

1. 業務需求角度

  • 能解決當下業務需求和問題
  • 高效完成業務需求: 能以優雅且可複用的方式解決當下所有業務問題
  • 前瞻性設計: 能在未來一段時間都能以第2種方式滿足業務,從而不會每次當業務進行演變時,導致架構翻天覆地的變化。

2. 非業務需求角度

①. 穩定性。指標:

  • 高可用:要儘可能的提高軟體的可用性,我想每個操作人都不願意看到自己的工作無法正常進行。黑盒白盒測試、單元測試、自動化測試、故障注入測試、提高測試覆蓋率等方式來一步一步推進。

②. 高效指標:

  • 文件化:不管是整體還是部分的整個生命週期內都必須做好文件化,變動的來源包括但不限於BUG,需求。
  • 可擴充套件:軟體的設計秉承著低耦合的理念去做,注意在合理的地方抽象。方便功能更改、新增和運用技術的迭代,並且支援在適時對架構做出重構。
  • 高複用:為了避免重複勞動,為了降低成本,我們希望能夠重用之前的程式碼、之前的設計。這點對於架構環境的依賴是最大的。

③. 安全指標

  • 安全:組織的運作過程中產生的資料都是具有商業價值的,保證資料的安全也是刻不容緩的一部分。以免出現XX門之類醜聞。加密、https等為普遍手段

六. 常見架構誤區

開高走落不到實處

  • 遺漏關鍵性約束與非功能需求
  • 為虛無的未來埋單而過度設計
  • 過早做出關鍵性決策
  • 客戶說啥就是啥成為傳話筒
  • 埋頭幹活兒缺乏前瞻性
  • 架構設計還要考慮系統可測性
  • 架構設計不要企圖一步到位

常見誤區

  • 誤區1——架構專門由架構師來做,業務開發人員無需關注:架構的再好,最終還是需要程式碼來落地,並且組織越大這個落地的難度越大。不單單是系統架構,每個解決方案每個專案也由自己的架構,如分層、設計模式等。如果每一塊磚瓦不夠堅固,那麼整個系統還是會由崩塌的風險。所謂“千里之堤,潰於蟻穴”。
  • 誤區2——架構師確定了架構藍圖之後任務就結束了:架構不是“空中樓閣”,最終還是要落地的,但是架構師完全不去深入到第一線怎麼知道“地”在哪?怎麼才能落的穩穩當當。
  • 誤區3——不做出完美的架構設計不開工:世上沒有最好架構,只有最合適的架構,不要企圖一步到位。我們需要的不是一下子造出一輛汽車,而是從單輪車→自行車→摩托車,最後再到汽車。想象一下2年後才能造出的產品,當初市場還存在嗎?
  • 誤區4—— 為虛無的未來埋單而過度設計:在創業公司初期,業務場景和需求邊界很難把握,產品需要快速迭代和變現,需求頻繁更新,這個時候需要的是快速實現。不要過多考慮未來的擴充套件,說不定功能做完,效果不好就無用了。如果業務模式和應用場景邊界都已經比較清晰,是應該適當的考慮未來的擴充套件性設計。
  • 誤區5——一味追隨大公司的解決方案:由於大公司巨大成功的光環效應,再加上從大公司挖來的技術高手的影響,網站在討論架構決策時,最有說服力的一句話就成了“淘寶就是這麼搞的”或者“騰訊 就是這麼搞的”。大公司的經驗和成功模式固然重要,值得學習借鑑,但如果因此而變得盲從,就失去了堅持自我的勇氣,在架構演化的道路上遲早會迷路。
  • 誤區6——為了技術而技術:技術是為業務而存在的,除此毫無意義。在技術選型和架構設計中,脫離網站業務發展的實際,一味追求時髦的新技術,可能會將技術發展引入崎嶇小道,架構之路越走越難。考慮實現成本、時間、人員等各方面都要綜合考慮,理想與現實需要折中。

七. 架構知識體系

1. 架構演進

  • 初始階段:LAMP,部署在一臺伺服器
  • 應用伺服器和資料伺服器分離
  • 使用快取改善效能
  • 使用叢集改善併發
  • 資料庫地讀寫分離
  • 使用反向代理和cdn加速
  • 使用分散式檔案和分散式資料庫
  • 業務拆分
  • 分散式服務

2. 架構模式

分層:橫向分層:應用層,服務層,資料層

分割:縱向分割:拆分功能和服務

分散式

  • 分散式應用和服務
  • 分散式靜態資源
  • 分散式資料和儲存
  • 分散式計算

叢集:提高併發和可用性

快取:優化系統性能

  • cdn
  • 方向代理訪問資源
  • 本地快取
  • 分散式快取

非同步:降低系統的耦合性

  • 提供系統的可用性
  • 加快響應速度

冗餘:冷備和熱備,保證系統的可用性

自動化:釋出,測試,部署,監控,報警,失效轉移,故障恢復

安全:

3. 架構核心要素

高效能:網站的靈魂

  • 效能測試
  • 前端優化
  • 應用優化
  • 資料庫優化

可用性:保證伺服器不宕機,一般通過冗餘部署備份伺服器來完成

  • 負載均衡
  • 資料備份
  • 自動釋出
  • 灰度釋出
  • 監控報警

伸縮性:建叢集,是否快速應對大規模增長的流量,容易新增新的機器

叢集

  • 負載均衡
  • 快取負載均衡

可擴充套件性:主要關注功能需求,應對業務的擴充套件,快速響應業務的變化。是否做法開閉原則,系統耦合依賴

  • 分散式訊息
  • 服務化

安全性:網站的各種攻擊,各種漏洞是否堵住,架構是否可以做到限流作用,防止ddos攻擊。

  • xss攻擊
  • sql注入
  • csr攻擊
  • web防火牆漏洞
  • 安全漏洞
  • ssl

八. 架構書籍推薦

1. 《大型網站技術架構:核心原理與案例分析》

這是比較早,比較系統介紹大型網站技術架構的書,通俗易懂又充滿智慧,即便你之前完全沒接觸過網站開發,通讀前幾章,也能快速獲取到常見的網站技術架構及其應用場景。非常贊。

2. 《億級流量網站架構核心技術》

相比《大型網站技術架構》的高屋建瓴,開濤的這本《億級流量網站架構核心技術》則落實到細節,網站架構中常見的各種技術,比如快取、佇列、執行緒池、代理……,統統都講到了,而且配有核心程式碼。甚至連 Nginx 的配置都有!

如果你想在實現大流量網站時找參考技術和程式碼,這本書最合適啦。

3. 《架構即未來》

這是一本“神書”啦,超越具體技術層面,著重剖析架構問題的根源,幫助我們弄清楚應該以何種方式管理、領導、組織和配置團隊。

4. 《分散式服務架構:原理、設計與實戰》

這本書全面介紹了分散式服務架構的原理與設計,並結合作者在實施微服務架構過程中的實踐經驗,總結了保障線上服務健康、可靠的最佳方案,是一本架構級、實戰型的重量級著作。

5. 《聊聊架構》

這算是架構方面的一本神書了,從架構的原初談起,從業務的拆分談起,談到架構的目的,架構師的角色,架構師如何將架構落地……強烈推薦。

不過,對於沒有架構實踐經驗的小夥伴來講,可能會覺得這本書比較虛,概念多,實戰少。但如果你有過一兩個專案的架構經驗,就會深深認同書中追本溯源探討的架構理念。

6. 《軟體架構師的12項修煉》

大多數時候所謂的“技術之玻璃天花板”其實只是缺乏軟技能而已。這些技能可以學到,缺乏的知識可以通過決定改變的努力來彌補。

最後

既已說到spring cloud alibaba,那對於整個微服務架構,如果想要進一步地向上提升自己,到底應該掌握哪些核心技能呢?

就個人而言,對於整個微服務架構,像RPC、Dubbo、Spring Boot、Spring Cloud Alibaba、Docker、kubernetes、Spring Cloud Netflix、Service Mesh等這些都是最最核心的知識,架構師必經之路!下圖,是自繪的微服務架構路線體系大綱,如果有還不知道自己該掌握些啥技術的朋友,可根據小編手繪的大綱進行一個參考。

如果覺得圖片不夠清晰,也可來找小編分享原件的xmind文件!

且除此份微服務體系大綱外,我也有整理與其每個專題核心知識點對應的最強學習筆記:

  • 出神入化——SpringCloudAlibaba.pdf

  • SpringCloud微服務架構筆記(一).pdf

  • SpringCloud微服務架構筆記(二).pdf

  • SpringCloud微服務架構筆記(三).pdf

  • SpringCloud微服務架構筆記(四).pdf

  • Dubbo框架RPC實現原理.pdf

  • Dubbo最新全面深度解讀.pdf

  • Spring Boot學習教程.pdf

  • SpringBoo核心寶典.pdf

  • 第一本Docker書-完整版.pdf

  • 使用SpringCloud和Docker實戰微服務.pdf

  • K8S(kubernetes)學習指南.pdf

另外,如果不知道從何下手開始學習呢,小編這邊也有對每個微服務的核心知識點手繪了其對應的知識架構體系大綱,不過全是匯出的xmind檔案,全部的原始檔也都在此!

本文已被CODING開源專案:【一線大廠Java面試題解析+核心總結學習筆記+最新講解視訊+實戰專案原始碼】收錄