Storm入門之附錄B
阿新 • • 發佈:2018-12-22
安裝Storm叢集
譯者注:本附錄的內容已經有些陳舊了。最新的Storm已不再必須依賴ZeroMQ,各種依賴的庫和軟體也已經有更新的版本。
有以下兩種方式建立Storm叢集:
要手工安裝Storm,需要先安裝以下軟體
- Zookeeper叢集(安裝方法詳見管理嚮導)
- Java6.0
- Python2.6.6
- Unzip命令
NOTE: Nimbus和管理程序將要依賴Java、Python和unzip命令
安裝本地庫:
安裝ZeroMQ:
wget http://download.zeromq.org/historic/zeromq-2.1.7.tar.gz tar -xzf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 ./configure make sudo make install
安裝JZMQ:
git clone https://github.com/nathanmarz/jzmq.git cd jzmq ./autogen.sh ./configure make sudo make install
本地庫安裝完了,下載最新的Storm穩定版(寫作本書時是Storm0.7.1。譯者注:翻譯本章時已是v0.9.1,可從http://storm.incubator.apache.org/或https://github.com/apache/incubator-storm/releases下載),並解壓縮。
編輯配置檔案,增加Storm叢集配置(可以從Storm倉庫的 defaults.yaml看到所有的預設配置)。
編輯Storm目錄下的conf/storm.yaml,新增以下引數,增加叢集配置:
storm.zookeeper.servers:
– "zookeeper addres 1"
– "zookeeper addres 2"
– "zookeeper addres N"
storm.local.dir: "a local directory"
nimbus.host: "Nimbus host addres"
supervisor.slots.ports:
– supervisor slot port 1
– supervisor slot port 2
– supervisor slot port N
引數解釋:storm.zookeeper.servers
你的zookeeper伺服器地址。
storm.local.dir: Storm程序儲存內部資料的本地目錄。(務必保證執行Storm程序的使用者擁有這個目錄的寫許可權。)
nimbus.host Nimbus執行的機器的地址
supervisor.slots.ports 接收訊息的工人程序監聽的埠號(通常從6700開始);管理程序為這個屬性指定的每個埠號執行一個工人程序。 當你完成了這些配置,就可以執行所有的Storm程序了。如果你想執行一個本地程序測試一下,就把nimbus.host配置成localhost。 啟動一個Storm程序,在Storm目錄下執行:./bin/storm 程序名。 NOTE:Storm提供了一個出色的叫做Storm UI的工具,用來輔助監控拓撲。