1. 程式人生 > >Storm安裝部署

Storm安裝部署

1.基礎環境準備

前提是安裝好jdk,zookeeper這裡不做描述

2.安裝storm

  1. 下載安裝包

  2. 解壓安裝包

    tar -zxvf apache-storm-0.9.5.tar.gz -C /export/servers/
    cd /export/servers/

  3. 修改配置檔案

    mv /export/servers/storm/conf/storm.yaml /export/servers/storm/conf/storm.yaml.bak
    vi /export/servers/storm/conf/storm.yaml

  4. 輸入以下內容:

    #指定storm使用的zk叢集
    storm.zookeeper
.servers: - "zk01" - "zk02" - "zk03" #指定storm叢集中的nimbus節點所在的伺服器 nimbus.host: "storm01" #指定nimbus啟動JVM最大可用記憶體大小 nimbus.childopts: "-Xmx1024m" #指定supervisor啟動JVM最大可用記憶體大小 supervisor.childopts: "-Xmx1024m" #指定supervisor節點上,每個worker啟動JVM最大可用記憶體大小 worker.childopts
: "-Xmx768m" #指定ui啟動JVM最大可用記憶體大小,ui服務一般與nimbus同在一個節點上。 ui.childopts: "-Xmx768m" #指定supervisor節點上,啟動worker時對應的埠號,每個埠對應槽,每個槽位對應一個worker supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703

5.分發安裝包

scp -r /export/servers/apache-storm-0.9.5 storm02:/export/servers
scp -r /export/servers/apache-storm-0.9.5 storm03:/export/servers

6. 啟動叢集

    在nimbus.host所屬的機器上啟動 nimbus服務
     cd /export/servers/storm/bin/
     nohup ./storm nimbus &

    在nimbus.host所屬的機器上啟動ui服務
    cd /export/servers/storm/bin/
    nohup ./storm ui &

    在其它個點選上啟動supervisor服務
    cd /export/servers/storm/bin/
    nohup ./storm supervisor &

7.檢視叢集

    訪問nimbus.host:/8080,即可看到storm的ui介面

8.Storm常用操作命令

有許多簡單且有用的命令可以用來管理拓撲,它們可以提交、殺死、禁用、再平衡拓撲。
提交任務命令格式:storm jar 【jar路徑】 【拓撲包名.拓撲類名】 【拓撲名稱】

bin/storm jar examples/storm-starter/storm-starter-topologies-0.10.0.jar storm.starter.WordCountTopology wordcount

殺死任務命令格式:storm kill 【拓撲名稱】 -w 10(執行kill命令時可以通過-w [等待秒數]指定拓撲停用以後的等待時間)

storm kill topology-name -w 10

 停用任務命令格式:storm deactivte  【拓撲名稱】

storm deactivte topology-name

我們能夠掛起或停用執行中的拓撲。當停用拓撲時,所有已分發的元組都會得到處理,但是spouts的nextTuple方法不會被呼叫。銷燬一個拓撲,可以使用kill命令。它會以一種安全的方式銷燬一個拓撲,首先停用拓撲,在等待拓撲訊息的時間段內允許拓撲完成當前的資料流。
 啟用任務命令格式:storm activate【拓撲名稱】

storm activate topology-name

重新部署任務命令格式:storm rebalance  【拓撲名稱】

storm rebalance topology-name

 再平衡使你重分配叢集任務。這是個很強大的命令。比如,你向一個執行中的叢集增加了節點。再平衡命令將會停用拓撲,然後在相應超時時間之後重分配worker,並重啟拓撲。