1. 程式人生 > >dubbo+zookeeper背景用途介紹

dubbo+zookeeper背景用途介紹

我們討論過Nginx+tomcat組成的叢集,這已經是非常靈活的叢集技術,但是當我們的系統遇到更大的瓶頸,全部應用的單點伺服器已經不能滿足我們的需求,這時,我們要考慮另外一種,我們熟悉的內容,就是分散式,而當下流行的Dubbo框架,不容我們忽視,這裡,咱們一起來探討一下這個框架的使用。

一、背景

    以前我們需要遠端呼叫他人的介面,我們是這麼做的:

    我們遇到的問題:

        (1) 當服務越來越多時,服務URL配置管理變得非常困難,F5硬體負載均衡器的單點壓力也越來越大。
此時需要一個服務註冊中心,動態的註冊和發現服務,使服務的位置透明。
並通過在消費方獲取服務提供方地址列表,實現軟負載均衡和Failover,降低對F5硬體負載均衡器的依賴,也能減少部分成本。
        (2) 當進一步發展,服務間依賴關係變得錯蹤複雜,甚至分不清哪個應用要在哪個應用之前啟動,

架構師都不能完整的描述應用的架構關係。
這時,需要自動畫出應用間的依賴關係圖,以幫助架構師理清理關係。
        (3) 接著,服務的呼叫量越來越大,服務的容量問題就暴露出來,這個服務需要多少機器支撐?什麼時候該加機器?
        為了解決這些問題,第一步,要將服務現在每天的呼叫量,響應時間,都統計出來,作為容量規劃的參考指標。
        其次,要可以動態調整權重,在線上,將某臺機器的權重一直加大,並在加大的過程中記錄響應時間的變化,直到響應時間到達閥值,記錄此時的訪問量,再以此訪問量乘以機器數反推總容量。

      

 Dubbo支援的協議有:Dubbo、RMI協議

Hessian協議、HTTP協議、WebService協議、Thrift協議、Memcached協議、Redis協議。

Dubbo支援的註冊中心有: Zookeeper註冊中心(官方推薦)、Multicast註冊中心、Redis註冊中心、Simple註冊中心.

dubbo.registry.address=multicast://127.0.0.1:1234

dubbo.registry.address=zookeeper://127.0.0.1:2181

dubbo.registry.address=redis://127.0.0.1:6379

dubbo.registry.address=dubbo://127.0.0.1:9090

我們之前沒用Dubbo之前時,大部分都使用Hessian來使用我們服務的暴露和呼叫, 利用HessianProxyFactory調  用遠端介面。


二 、Duubo管理控制檯的安裝:

       (1)下載dubbo-admin-2.4.1.war包,在windowstomcat部署,先把dubbo-admin-2.4.1放在tomcatwebapps/ROOT下,然後進行解壓

        (2)然後到webapps/ROOT/WEB-INF下,有一個dubbo.properties(dubbo.registry.address和dubbo.registry.group)檔案,裡面指向Zookeeper ,使用的是Zookeeper 的註冊中心。和修改webapps\dubbo\WEB-INF\classes\META-INF\spring下的dubbo-admin.xml裡面的註冊中心分組:

<dubbo:registry address="${dubbo.registry.address}" group="${dubbo.registry.group}" check="false" file="false" />

        (3)然後啟動tomcat服務,使用者名稱和密碼:root(dubbo.properties檔案可見),並訪問服務,顯示登陸頁面,說明dubbo-admin部署成功,

三、專案中dubbo標籤屬性說明

   (1)、啟動服務端(服務提供者)專案,然後我們在Dubbo管理頁面上顯示,已經暴露的服務,但顯示還沒有消費者,因為我們還沒實現消費者服務(即客戶端服務呼叫者)。

   dubbo:registry 標籤一些屬性的說明:

      1register是否向此註冊中心註冊服務,如果設為false,將只訂閱,不註冊

      2check註冊中心不存在時,是否報錯。

      3subscribe是否向此註冊中心訂閱服務,如果設為false,將只註冊,不訂閱

      4timeout註冊中心請求超時時間(毫秒)

      5address可以Zookeeper叢集配置,地址可以多個以逗號隔開等。

  dubbo:service標籤的一些屬性說明:

     1interface服務介面的路徑

     2ref引用對應的實現類的BeanID

     3registry向指定註冊中心註冊,在多個註冊中心時使用,值為<dubbo:registry>id屬性,多個註冊中心ID用逗號分隔,如果不想將該服務註冊到任何registry,可將值設為N/A

     4register 預設true ,該協議的服務是否註冊到註冊中心。

(4)專案客戶端(消費者)啟動,Dubbo管理頁面,能看到消費者

 dubbo:reference 的一些屬性的說明:

      1interface呼叫的服務介面

      2check 啟動時檢查提供者是否存在,true報錯,false忽略

      3registry 從指定註冊中心註冊獲取服務列表,在多個註冊中心時使用,值為<dubbo:registry>id屬性,多個註冊中心ID用逗號分隔

      4loadbalance 負載均衡策略,可選值:random,roundrobin,leastactive,分別表示:隨機,輪循,最少活躍呼叫

三、Dubbo介紹

Dubbo是Alibaba開源的分散式服務框架,它最大的特點是按照分層的方式來架構,使用這種方式可以使各個層之間解耦合(或者最大限度地鬆耦合)。從服務模型的角度來看,Dubbo採用的是一種非常簡單的模型,要麼是提供方提供服務,要麼是消費方消費服務,所以基於這一點可以抽象出服務提供方(Provider)和服務消費方(Consumer)兩個角色。關於註冊中心、協議支援、服務監控等內容,詳見後面描述。

Dubbo框架設計一共劃分了10個層,而最上面的Service層是留給實際想要使用Dubbo開發分散式服務的開發者實現業務邏輯的介面層。圖中左邊淡藍背景的為服務消費方使用的介面,右邊淡綠色背景的為服務提供方使用的介面, 位於中軸線上的為雙方都用到的介面。
下面,結合Dubbo官方文件,我們分別理解一下框架分層架構中,各個層次的設計要點:

  1. 服務介面層(Service):該層是與實際業務邏輯相關的,根據服務提供方和服務消費方的業務設計對應的介面和實現。
  2. 配置層(Config):對外配置介面,以ServiceConfig和ReferenceConfig為中心,可以直接new配置類,也可以通過spring解析配置生成配置類。
  3. 服務代理層(Proxy):服務介面透明代理,生成服務的客戶端Stub和伺服器端Skeleton,以ServiceProxy為中心,擴充套件介面為ProxyFactory。
  4. 服務註冊層(Registry):封裝服務地址的註冊與發現,以服務URL為中心,擴充套件介面為RegistryFactory、Registry和RegistryService。可能沒有服務註冊中心,此時服務提供方直接暴露服務。
  5. 叢集層(Cluster):封裝多個提供者的路由及負載均衡,並橋接註冊中心,以Invoker為中心,擴充套件介面為Cluster、Directory、Router和LoadBalance。將多個服務提供方組合為一個服務提供方,實現對服務消費方來透明,只需要與一個服務提供方進行互動。
  6. 監控層(Monitor):RPC呼叫次數和呼叫時間監控,以Statistics為中心,擴充套件介面為MonitorFactory、Monitor和MonitorService。
  7. 遠端呼叫層(Protocol):封將RPC呼叫,以Invocation和Result為中心,擴充套件介面為Protocol、Invoker和Exporter。Protocol是服務域,它是Invoker暴露和引用的主功能入口,它負責Invoker的生命週期管理。Invoker是實體域,它是Dubbo的核心模型,其它模型都向它靠擾,或轉換成它,它代表一個可執行體,可向它發起invoke呼叫,它有可能是一個本地的實現,也可能是一個遠端的實現,也可能一個叢集實現。
  8. 資訊交換層(Exchange):封裝請求響應模式,同步轉非同步,以Request和Response為中心,擴充套件介面為Exchanger、ExchangeChannel、ExchangeClient和ExchangeServer。
  9. 網路傳輸層(Transport):抽象mina和netty為統一介面,以Message為中心,擴充套件介面為Channel、Transporter、Client、Server和Codec。
  10. 資料序列化層(Serialize):可複用的一些工具,擴充套件介面為Serialization、 ObjectInput、ObjectOutput和ThreadPool。

從上圖可以看出,Dubbo對於服務提供方和服務消費方,從框架的10層中分別提供了各自需要關心和擴充套件的介面,構建整個服務生態系統(服務提供方和服務消費方本身就是一個以服務為中心的)。
根據官方提供的,對於上述各層之間關係的描述,如下所示:

  • 在RPC中,Protocol是核心層,也就是隻要有Protocol + Invoker + Exporter就可以完成非透明的RPC呼叫,然後在Invoker的主過程上Filter攔截點。
  • 圖中的Consumer和Provider是抽象概念,只是想讓看圖者更直觀的瞭解哪些類分屬於客戶端與伺服器端,不用Client和Server的原因是Dubbo在很多場景下都使用Provider、Consumer、Registry、Monitor劃分邏輯拓普節點,保持統一概念。
  • 而Cluster是外圍概念,所以Cluster的目的是將多個Invoker偽裝成一個Invoker,這樣其它人只要關注Protocol層Invoker即可,加上Cluster或者去掉Cluster對其它層都不會造成影響,因為只有一個提供者時,是不需要Cluster的。
  • Proxy層封裝了所有介面的透明化代理,而在其它層都以Invoker為中心,只有到了暴露給使用者使用時,才用Proxy將Invoker轉成介面,或將介面實現轉成Invoker,也就是去掉Proxy層RPC是可以Run的,只是不那麼透明,不那麼看起來像調本地服務一樣調遠端服務。
  • 而Remoting實現是Dubbo協議的實現,如果你選擇RMI協議,整個Remoting都不會用上,Remoting內部再劃為Transport傳輸層和Exchange資訊交換層,Transport層只負責單向訊息傳輸,是對Mina、Netty、Grizzly的抽象,它也可以擴充套件UDP傳輸,而Exchange層是在傳輸層之上封裝了Request-Response語義。
  • Registry和Monitor實際上不算一層,而是一個獨立的節點,只是為了全域性概覽,用層的方式畫在一起。

從上面的架構圖中,我們可以瞭解到,Dubbo作為一個分散式服務框架,主要具有如下幾個核心的要點:

服務定義
服務是圍繞服務提供方和服務消費方的,服務提供方實現服務,而服務消費方呼叫服務。

服務註冊
對於服務提供方,它需要釋出服務,而且由於應用系統的複雜性,服務的數量、型別也不斷膨脹;對於服務消費方,它最關心如何獲取到它所需要的服務,而面對複雜的應用系統,需要管理大量的服務呼叫。而且,對於服務提供方和服務消費方來說,他們還有可能兼具這兩種角色,即既需要提供服務,有需要消費服務。
通過將服務統一管理起來,可以有效地優化內部應用對服務釋出/使用的流程和管理。服務註冊中心可以通過特定協議來完成服務對外的統一。

服務監控
無論是服務提供方,還是服務消費方,他們都需要對服務呼叫的實際狀態進行有效的監控,從而改進服務質量。

遠端通訊與資訊交換
遠端通訊需要指定通訊雙方所約定的協議,在保證通訊雙方理解協議語義的基礎上,還要保證高效、穩定的訊息傳輸。Dubbo繼承了當前主流的網路通訊框架,主要包括如下幾個:

  • Mina
  • Netty
  • Grizzly

接著,將上面抽象的呼叫流程圖展開,詳細如圖所示:
dubbo-extension

註冊/登出服務
服務的註冊與登出,是對服務提供方角色而言,那麼註冊服務與登出服務的時序圖,如圖所示:
dubbo-export

服務訂閱/取消
為了滿足應用系統的需求,服務消費方的可能需要從服務註冊中心訂閱指定的有服務提供方釋出的服務,在得到通知可以使用服務時,就可以直接呼叫服務。反過來,如果不需要某一個服務了,可以取消該服務。下面看一下對應的時序圖,如圖所示:
dubbo-refer

在通訊過程中,不同的服務等級一般對應著不同的服務質量,那麼選擇合適的協議便是一件非常重要的事情。你可以根據你應用的建立來選擇。例如,使用RMI協議,一般會受到防火牆的限制,所以對於外部與內部進行通訊的場景,就不要使用RMI協議,而是基於HTTP協議或者Hessian協議。

參考補充
Dubbo以包結構來組織各個模組,各個模組及其關係,如圖所示:
dubbo-modules
可以通過Dubbo的程式碼(使用Maven管理)組織,與上面的模組進行比較。簡單說明各個包的情況:

  • dubbo-common 公共邏輯模組,包括Util類和通用模型。
  • dubbo-remoting 遠端通訊模組,相當於Dubbo協議的實現,如果RPC用RMI協議則不需要使用此包。
  • dubbo-rpc 遠端呼叫模組,抽象各種協議,以及動態代理,只包含一對一的呼叫,不關心叢集的管理。
  • dubbo-cluster 叢集模組,將多個服務提供方偽裝為一個提供方,包括:負載均衡、容錯、路由等,叢集的地址列表可以是靜態配置的,也可以是由註冊中心下發。
  • dubbo-registry 註冊中心模組,基於註冊中心下發地址的叢集方式,以及對各種註冊中心的抽象。
  • dubbo-monitor 監控模組,統計服務呼叫次數,呼叫時間的,呼叫鏈跟蹤的服務。
  • dubbo-config 配置模組,是Dubbo對外的API,使用者通過Config使用Dubbo,隱藏Dubbo所有細節。
  • dubbo-container 容器模組,是一個Standalone的容器,以簡單的Main載入Spring啟動,因為服務通常不需要Tomcat/JBoss等Web容器的特性,沒必要用Web容器去載入服務。