之前研究 Hadoop 原始碼，把 hadoop-common 模組下的 RPC 模組原始碼通讀一遍，又花了 3 個月抄了一遍 Hadoop RPC 程式碼，學到很多東西。我覺得學習程式設計最有效的方式就是抄程式碼，我覺得這個過程對正在學程式設計的朋友很有幫助，所以想做成教程，以下是週末寫的一個開頭，後續教程的形式以及進展會發布在公眾號，有興趣的朋友歡迎文末關注。

1. 起源

故事得從19年上半年說起，那時候我正打算研究一下Hadoop原始碼。 現在大家都聽說過Hadoop，它是一個分散式儲存和計算的框架。作為分散式系統，節點之間的通訊、互動式必不可少的。Hadoop自己實現了RPC（Remote Procedure Call，遠端過程呼叫）模組來滿足這樣的需求。帶著好奇，我便閱讀了整個Hadoop RPC模組的原始碼，讀完後發現這個模組設計的非常好，與其他模組無耦合，完全可以獨立出來當成一個獨立的框架。為了能夠學習相關的程式設計知識，同時還可以看到Apache 頂級開源專案的程式碼如何編寫的，因此我便把Hadoop RPC模組做成教程。

雖然這個專案是實現RPC功能，但我覺得我們重點不應該過多關注RPC本身，而應該重點學習RPC所涉及的客戶端開發、服務端開發、網路程式設計、多執行緒、併發程式設計、設計模式等核心知識，尤其是對於剛學習Java沒有接觸線上實戰專案的朋友，掌握好了這些知識，寫其他專案也會更有思路。

2. 起名

為了能讓不熟悉Hadoop的朋友也能學習本教程，因此我們將Hadoop RPC賦予了新的業務含義。

假設我們有這樣一個場景，公司開發一個新的資料庫，這個資料庫的底層可能是Mysql，也可能是MongoDB，甚至可能是公司自研的資料庫技術，無論是什麼，資料庫都可以作為服務端。作為使用者來說，資料庫底層用了什麼技術並不關係，而是關心怎麼使用。資料庫需要提供了API方便使用者呼叫，因此就需要有客戶端。

實現連線客戶端請求和服務端響應的技術就是RPC。我給這個專案起了一個名字叫Manis，那麼，資料庫的名字便是ManisDb。工作中我們也比較鼓勵大家給自己的專案起個名字，有了名字，它就像自己的孩子一樣，我們會更有責任心把它做好。

3. 優勢

優勢都是相對的。Hadoop RPC 相比於一般的實戰專案來說，它是經過線上檢驗的，Hadoop叢集規模最大達到上萬臺，單一個RPC模組完全可以獨立出來用於實戰。同時，我們還可以積累頂級開源專案的開發經驗，大到架構設計，小到設計模式，程式碼規範。RPC在客戶端開發、服務端開發、網路程式設計三方面都有涉及，且都是重點內容。

Hadoop RPC相比於原始碼分析類的教程來說，優勢在於實戰意義比較強。我們會按照Hadoop RPC原始碼把我們的野生專案Manis從0到1完整的敲一遍，還原度為95%。解釋下為什麼不是100%，一方面為了突出重點，我會把不太重要、不是很核心的技術捨棄掉。另一方面為了符合新的業務定義，我會做一些改進，而不是照搬Hadoop RPC。比如：Hadoop RPC到了2.6版本只支援Protobuf序列化協議，但為了體現高擴充套件以及模組間的低耦合，Manis支援了多種序列化協議。

在寫教程之前，我花了大概3個月時間先對照Hadoop RPC原始碼把Manis敲出來了。學會了Manis後，你完全有能力閱讀Hadoop RPC的原始碼，這也算是面試的加分項吧。可能有些讀者覺得這種方式比較LOW，但我還是相信馬化騰說的“抄程式碼培養感覺”，寫程式碼好比學字畫，不臨摹好的作品怎麼學習別人的優點。真正要把看到的東西變成自己的，最終紮實的方式就是自己走一遍。至於Manis中被捨棄的部分我會在教程中說明，必要的時候會擷取Hadoop原始碼一起分析。

4. Manis架構圖

圖1-1是Manis的架構圖，基本上是一般的RPC架構圖。

圖1-1 Manis架構圖

5. Manis核心元件時序圖

 

圖1-2 Manis 核心元件時序圖

6. Manis核心元件概念

結合圖1-2對Manis中涉及的核心的元件概念進行說明。

ManisDb：圖中沒有表示，它代表資料庫，負責啟動服務端（即ipc.Server類），這裡需要說明一下我們的重點在於RPC開發，這裡的資料庫只是舉一個例子，不會涉及真正的資料庫開發。

ManisClient：提供給普通使用者的客戶端類，用於對ManisDb進行增刪改查，它使用Protobuf協議與ManisDb進行通訊。

Manager：提供給管理員的客戶端類，用於對ManisDb進行管理，它使用Serializable協議（Java原生的序列化方式）與ManisDb進行通訊

ProtoBufRpcEngine：支援Protobuf協議的RPC引擎，它定義了兩個內部類——Invoker類和ProtoBufRpcInvoker類。Invoker類用於封裝客戶端的呼叫請求，並使用Protobuf協議序列化。ProtoBufRpcInvoker類用於完成客戶端請求的方法呼叫（服務端調）。

SerializableRpcEngine：支援Serializable協議的RPC引擎，它定義兩個內部類——Invoker類和SerializableRpcInvoker類。Invoker類用於封裝客戶端的呼叫請求，並使用Serializable協議序列化。SerializableRpcInvoker類用於完成客戶端請求的方法呼叫（服務端調）。

Client：建立與服務端的socket連線，接收客戶端呼叫，併發送呼叫請求給服務端，等待服務端返回並將結果返回。

ipc.Server：該類定義在ipc包下面，通過Reactor模式接收並處理客戶端請求，最終呼叫ProtoBufRpcInvoker或SerializableRpcInvoker的方法獲得結果，並返回給客戶端。

 

公眾號「渡碼」，分享更多高質量內容

相關推薦