1. 程式人生 > >Storm入門之附錄B

Storm入門之附錄B

安裝Storm叢集

譯者注:本附錄的內容已經有些陳舊了。最新的Storm已不再必須依賴ZeroMQ,各種依賴的庫和軟體也已經有更新的版本。

有以下兩種方式建立Storm叢集:

  • 使用Storm部署在亞馬遜EC2上面建立一個叢集,就像你在第6章看到的。
  • 手工安裝(詳見本附錄)

要手工安裝Storm,需要先安裝以下軟體

  • Zookeeper叢集(安裝方法詳見管理嚮導
  • Java6.0
  • Python2.6.6
  • Unzip命令

NOTE: Nimbus和管理程序將要依賴Java、Python和unzip命令

安裝本地庫:

安裝ZeroMQ:

wget http://download.zeromq.org/historic/zeromq-2.1.7.tar.gz

tar -xzf zeromq-2.1.7.tar.gz

cd zeromq-2.1.7

./configure

make

sudo make install

安裝JZMQ:

     git clone https://github.com/nathanmarz/jzmq.git
     cd jzmq
     ./autogen.sh
     ./configure
     make
     sudo make install

本地庫安裝完了,下載最新的Storm穩定版(寫作本書時是Storm0.7.1。譯者注:翻譯本章時已是v0.9.1,可從http://storm.incubator.apache.org/https://github.com/apache/incubator-storm/releases下載),並解壓縮。
編輯配置檔案,增加Storm叢集配置(可以從Storm倉庫的

defaults.yaml看到所有的預設配置)。
編輯Storm目錄下的conf/storm.yaml,新增以下引數,增加叢集配置:

storm.zookeeper.servers:
– "zookeeper addres 1"
– "zookeeper addres 2"
– "zookeeper addres N"
storm.local.dir: "a local directory"
nimbus.host: "Nimbus host addres"
supervisor.slots.ports:
– supervisor slot port 1
– supervisor slot port 2
– supervisor slot port N

引數解釋:storm.zookeeper.servers

你的zookeeper伺服器地址。

storm.local.dir:

    Storm程序儲存內部資料的本地目錄。(務必保證執行Storm程序的使用者擁有這個目錄的寫許可權。)
nimbus.host

    Nimbus執行的機器的地址
supervisor.slots.ports

    接收訊息的工人程序監聽的埠號(通常從6700開始);管理程序為這個屬性指定的每個埠號執行一個工人程序。

當你完成了這些配置,就可以執行所有的Storm程序了。如果你想執行一個本地程序測試一下,就把nimbus.host配置成localhost。
啟動一個Storm程序,在Storm目錄下執行:./bin/storm 程序名NOTE:Storm提供了一個出色的叫做Storm UI的工具,用來輔助監控拓撲。