分散式系統之分散式中介軟體zeroMQ

阿新 • • 發佈：2019-01-12

zeroMQ，又稱0MQ，是一個非常簡單的通訊庫，它擴充套件了傳統BSD socket能力，提供簡單的基於訊息的通訊。zeroMQ不解析訊息體，沒有序列化能力，或者說你可以使用任何第三方序列化庫比如google的protocol buffer。

iMatix公司，AMQP協議的制定者，在2010年退出了AMQP工作組，其CEO Pieter Hintjens 認為AMQP從根本上就有不可修改的缺陷，太複雜了，目前轉而支援zeroMQ，iMatix 2011年後不再維護其AMQP軟體OpenAMQP。

在zeroMQ的guide中，將現在（將來）的軟體類比人類的大腦，幾萬億個神經元互相之間傳送訊息來完成一些任務，沒有控制點，沒有單點故障。而現實中，軟體和軟體間的互聯極難，非常難以維護和控制。IETF已經建立了很多標準，用來解決這個問題，HTTP是一個非常簡單的解決方案，但是這個解決方案讓問題更加複雜：HTTP鼓勵開發者和架構師將軟體設計為複雜、萬能的中心伺服器和簡陋、愚蠢的客戶端。這造成了現在整個網際網路到處是中心點，難以控制，即使有分散式的P2P架構（skype，bittorrent），也只是些玩具，很少有人使用它們來傳輸資料，解決實際生產問題。

OK，實踐實踐。按照guide上的說明，下面使用zeroMQ做一個簡單的helloworld分散式程式。

首先安裝zeroMQ，從網站上下載當前release版本，然後編譯安裝，需要g++和uuid-dev（在俺的亞馬遜ec2虛擬機器上沒有，現yum安裝，汗。。。）。編譯出來的動靜態庫和標頭檔案預設都放到了/usr/local目錄下的lib和include目錄下。

server程式碼：

#include <zmq.h>
#include <stdio.h>
#include <string.h>

int main()
{
    void *context = zmq_init(1);

    void *s = zmq_socket(context, ZMQ_REP);
    zmq_bind(s, "tcp://*:5555");

    while (1)
    {
        zmq_msg_t msg;
        zmq_msg_init(&msg);
        zmq_recv(s, &msg, 0);
        printf("received hello\n");

        zmq_msg_close(&msg);

        zmq_msg_init_size(&msg, 5);
        memcpy(zmq_msg_data(&msg), "World", 5);
        zmq_send(s, &msg, 0);
        zmq_msg_close(&msg);
    }

    zmq_close(s);
    zmq_term(context);
}

client程式碼：

#include <stdio.h>
#include <string.h>
#include <zmq.h>

int main()
{
    void *ctx = zmq_init(1);
    void *s = zmq_socket(ctx, ZMQ_REQ);
    zmq_msg_t msg;
    char buf[10];

    zmq_connect(s, "tcp://localhost:5555");

    zmq_msg_init_size(&msg, 5);
    memcpy(zmq_msg_data(&msg), "hello", 5);
    zmq_send(s, &msg, 0);
    zmq_msg_close(&msg);

    zmq_msg_init(&msg);
    zmq_recv(s, &msg, 0);
    memcpy(buf, zmq_msg_data(&msg), 5);
    buf[5] = 0;
    printf("%s\n", buf);

    zmq_msg_close(&msg);
    zmq_close(s);
    zmq_term(ctx);
    return 0;
}

Makefile：

all: server client
server: server.c
    gcc -o [email protected] $< -lzmq
client: client.c
    gcc -o [email protected] $< -lzmq

ok，測試通過。解釋一下，客戶端和服務端都是首先初始化一個zmq的context，然後建立一個socket，客戶端建立request型別的，服務端建立reply型別的，服務端bind一個地址，客戶端connect這個地址，然後客戶端傳送一個訊息，服務端收到後迴應一個訊息。

可以看到如下幾點：

0. zeroMQ就是一個通訊庫，提供建立socket，建立連線，監聽埠，傳送訊息，接收訊息的功能。

1. 使用類似URL的字串方式指定一個地址，遠遠比BSD socket的sockaddr好用。

2. context建立時可以指定有多少個I/O執行緒，可以併發進行多個執行緒處理

3. 對於string，不假定有'\0'結束符，便於多種語言進行互動

4. 對於訊息內容，zeroMQ不做任何解析，就是一段長度的位元組流，編解碼由客戶端和服務端自己搞定

5. 最後很有趣的一點，先啟動客戶端，再啟動服務端，程式照樣執行正常，說明在建立連線時，如果被連線的服務端不存在，客戶端會等待並嘗試重連。這一點對分散式系統的容錯性比較有意義。

先到這裡，後續深入分析。

分散式系統之分散式中介軟體zeroMQ

分散式系統之分散式中介軟體zeroMQ

【chenglinhust的專欄】分散式系統基礎架構中介軟體系統安全領域容器技術人工智慧

java中的分散式應用（二）之各類中介軟體中用到的演算法

分散式系統之資料分片前言2

分散式系統之資料分片前言1

教你用 redis 實現分散式冪等服務中介軟體

[原創]分散式系統之快取的微觀應用經驗談（三）【資料分片和叢集篇】

[原創]分散式系統之快取的微觀應用經驗談（四）【互動場景篇】

分散式系統之CAP和BASE理論

帶著問題學習分散式系統之資料分片

分散式系統之資料分片及特徵值的選擇

分散式系統之Quorum （NRW）演算法

帶著問題學習分散式系統之中心化複製集

分散式系統之五：程序/執行緒

分散式高可靠訊息中介軟體－Hippo

python爬蟲之scrapy中介軟體介紹

《大型網站系統與JAVA中介軟體實踐》第七章軟負載中心與集中配置管理

《大型網站系統與JAVA中介軟體實踐》第六章訊息中介軟體

《大型網站系統與JAVA中介軟體實踐》第五章資料訪問層

《大型網站系統與JAVA中介軟體實踐》第四章服務框架

分散式系統之分散式中介軟體zeroMQ

相關推薦