一、RPC基礎概念

1.1 RPC的基礎概念

　　RPC，即Remote Procdure Call，中文名：遠端過程呼叫；

　　（1）它允許一臺計算機程式遠端呼叫另外一臺計算機的子程式，而不用去關心底層的網路通訊細節，對我們來說是透明的。因此，它經常用於分散式網路通訊中。

RPC協議假定某些傳輸協議的存在，如TCP或UDP，為通訊程式之間攜帶資訊資料。在OSI網路通訊模型中，RPC跨越了傳輸層和應用層。RPC使得開發包括網路分散式多程式在內的應用程式更加容易。

　　（2）Hadoop的程序間互動都是通過RPC來進行的，比如Namenode與Datanode直接，Jobtracker與Tasktracker之間等。

因此，可以說：Hadoop的執行就是建立在RPC基礎之上的。

1.2 RPC的顯著特點

　　（1）透明性：遠端呼叫其他機器上的程式，對使用者來說就像是呼叫本地方法一樣；

　　（2）高效能：RPC Server能夠併發處理多個來自Client的請求；

　　（3）可控性：jdk中已經提供了一個RPC框架—RMI，但是該PRC框架過於重量級並且可控之處比較少，所以Hadoop RPC實現了自定義的PRC框架。

1.3 RPC的基本流程

　　（1）RPC採用了C/S的模式；

　　（2）Client端傳送一個帶有引數的請求資訊到Server；

　　（3）Server接收到這個請求以後，根據傳送過來的引數呼叫相應的程式，然後把自己計算好的結果傳送給Client端；

　　（4）Client端接收到結果後繼續執行；

1.4 Hadoop中的RPC機制

　　同其他RPC框架一樣，Hadoop RPC分為四個部分：

　　（1）序列化層：Clent與Server端通訊傳遞的資訊採用了Hadoop裡提供的序列化類或自定義的Writable型別；

　　（2）函式呼叫層：Hadoop RPC通過動態代理以及java反射實現函式呼叫；

　　（3）網路傳輸層：Hadoop RPC採用了基於TCP/IP的socket機制；

　　（4）伺服器端框架層：RPC Server利用java NIO以及採用了事件驅動的I/O模型，提高RPC Server的併發處理能力；

　　Hadoop RPC在整個Hadoop中應用非常廣泛

1.5 Hadoop RPC設計技術

　　（1）動態代理

About：動態代理可以提供對另一個物件的訪問，同時隱藏實際物件的具體事實，代理物件對客戶隱藏了實際物件。目前Java開發包中提供了對動態代理的支援，但現在只支援對介面的實現。

　　（2）反射——動態載入類

　　（3）序列化

　　（4）非阻塞的非同步IO（NIO）

二、如何使用RPC

2.1 Hadoop RPC對外提供的介面

　　Hadoop RPC對外主要提供了兩種介面（見類org.apache.hadoop.ipc.RPC），分別是：

　　（1）public static <T> ProtocolProxy <T> getProxy/waitForProxy(…)

　　構造一個客戶端代理物件（該物件實現了某個協議），用於向伺服器傳送RPC請求。

　　（2）public static Server RPC.Builder (Configuration).build()

　　為某個協議（實際上是Java介面）例項構造一個伺服器物件，用於處理客戶端傳送的請求。

2.2 使用Hadoop RPC的四大步湊

　　（1）定義RPC協議

　　RPC協議是客戶端和伺服器端之間的通訊介面，它定義了伺服器端對外提供的服務介面。

　　（2）實現RPC協議

　　Hadoop RPC協議通常是一個Java介面，使用者需要實現該介面。

　　（3）構造和啟動RPC SERVER

　　直接使用靜態類Builder構造一個RPC Server，並呼叫函式start()啟動該Server。

　　（4）構造RPC Client併發送請求

　　使用靜態方法getProxy構造客戶端代理物件，直接通過代理物件呼叫遠端端的方法。

三、RPC應用例項

3.1 定義RPC協議

　　如下所示，我們定義一個IProxyProtocol 通訊介面，聲明瞭一個Add()方法。

public interface IProxyProtocol extends VersionedProtocol {
    static final long VERSION = 23234L; //版本號，預設情況下，不同版本號的RPC Client和Server之間不能相互通訊
    int Add(int number1,int number2);
}

　　需要注意的是：

　　（1）Hadoop中所有自定義RPC介面都需要繼承VersionedProtocol介面，它描述了協議的版本資訊。

　　（2）預設情況下，不同版本號的RPC Client和Server之間不能相互通訊，因此客戶端和服務端通過版本號標識。

3.2 實現RPC協議

　　Hadoop RPC協議通常是一個Java介面，使用者需要實現該介面。對IProxyProtocol介面進行簡單的實現如下所示：

public class MyProxy implements IProxyProtocol {
    public int Add(int number1,int number2) {
        System.out.println("我被呼叫了!");
        int result = number1+number2;
        return result;
    }

    public long getProtocolVersion(String protocol, long clientVersion)
            throws IOException {
        System.out.println("MyProxy.ProtocolVersion=" + IProxyProtocol.VERSION);
        // 注意：這裡返回的版本號與客戶端提供的版本號需保持一致
        return IProxyProtocol.VERSION;
    }
}

　　這裡實現的Add方法很簡單，就是一個加法操作。為了檢視效果，這裡通過控制檯輸出一句：“我被呼叫了！”

3.3 構造RPC Server並啟動服務

　　這裡通過RPC的靜態方法getServer來獲得Server物件，如下程式碼所示：

public class MyServer {
    public static int PORT = 5432;
    public static String IPAddress = "127.0.0.1";

    public static void main(String[] args) throws Exception {
        MyProxy proxy = new MyProxy();
        final Server server = RPC.getServer(proxy, IPAddress, PORT, new Configuration());
        server.start();
    }
}

　　這段程式碼的核心在於第5行的RPC.getServer方法，該方法有四個引數，第一個引數是被呼叫的java物件，第二個引數是伺服器的地址，第三個引數是伺服器的埠 。獲得伺服器物件後，啟動伺服器。這樣，伺服器就在指定埠監聽客戶端的請求。到此為止，伺服器就處於監聽狀態，不停地等待客戶端請求到達。

3.4 構造RPC Client併發出請求

　　這裡使用靜態方法getProxy或waitForProxy構造客戶端代理物件，直接通過代理物件呼叫遠端端的方法，具體如下所示：

public class MyClient {

    public static void main(String[] args) {
        InetSocketAddress inetSocketAddress = new InetSocketAddress(
                MyServer.IPAddress, MyServer.PORT);

        try {
            // 注意：這裡傳入的版本號需要與代理保持一致
            IProxyProtocol proxy = (IProxyProtocol) RPC.waitForProxy(
                    IProxyProtocol.class, IProxyProtocol.VERSION, inetSocketAddress,
                    new Configuration());
            int result = proxy.Add(10, 25);
            System.out.println("10+25=" + result);

            RPC.stopProxy(proxy);
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }
    }

}

　　以上程式碼中核心在於RPC.waitForProxy()，該方法有四個引數，第一個引數是被呼叫的介面類，第二個是客戶端版本號，第三個是服務端地址。返回的代理物件，就是服務端物件的代理，內部就是使用java.lang.Proxy實現的。

　　經過以上四步，我們便利用Hadoop RPC搭建了一個非常高效的客戶機–伺服器網路模型。

3.5 檢視執行結果

　　（1）啟動服務端，開始監聽客戶端請求

　　（2）啟動客戶端，開始向服務端發請求

　　（3）檢視服務端狀態，是否被呼叫

SUMMARY：從上面的RPC呼叫中，可以看出：在客戶端呼叫的業務類的方法是定義在業務類的介面中的。該介面實現了VersionedProtocal介面。

　　（4）現在我們在命令列執行jps命令，檢視輸出資訊，會出現如下圖所示的：

　　從上圖中可以看到一個java程序，是“MyServer”，該程序正是我們剛剛執行的RPC的服務端類MyServer。因此，大家可以聯想到我們搭建Hadoop環境時，也執行過該命令用來判斷Hadoop的相關程序是否全部啟動。

SUMMARY：那麼可以判斷，Hadoop啟動時產生的5個java程序也應該是RPC的服務端。　　

　　下面我們觀察NameNode的原始碼，如下圖所示，可以看到NameNode確實建立了RPC的服務端。

private void initialize(Configuration conf) throws IOException {
    ......
    // create rpc server
    InetSocketAddress dnSocketAddr = getServiceRpcServerAddress(conf);
    if (dnSocketAddr != null) {
      int serviceHandlerCount =
        conf.getInt(DFSConfigKeys.DFS_NAMENODE_SERVICE_HANDLER_COUNT_KEY,
                    DFSConfigKeys.DFS_NAMENODE_SERVICE_HANDLER_COUNT_DEFAULT);
      this.serviceRpcServer = RPC.getServer(this, dnSocketAddr.getHostName(), 
          dnSocketAddr.getPort(), serviceHandlerCount,
          false, conf, namesystem.getDelegationTokenSecretManager());
      this.serviceRPCAddress = this.serviceRpcServer.getListenerAddress();
      setRpcServiceServerAddress(conf);
    }
    this.server = RPC.getServer(this, socAddr.getHostName(),
        socAddr.getPort(), handlerCount, false, conf, namesystem
        .getDelegationTokenSecretManager());
   ......
}

參考資料

作者：周旭龍

本文版權歸作者和部落格園共有，歡迎轉載，但未經作者同意必須保留此段宣告，且在文章頁面明顯位置給出原文連結。