Storm安裝部署
阿新 • • 發佈:2018-12-25
1.基礎環境準備
前提是安裝好jdk,zookeeper這裡不做描述
2.安裝storm
下載安裝包
解壓安裝包
tar -zxvf apache-storm-0.9.5.tar.gz -C /export/servers/
cd /export/servers/修改配置檔案
mv /export/servers/storm/conf/storm.yaml /export/servers/storm/conf/storm.yaml.bak
vi /export/servers/storm/conf/storm.yaml輸入以下內容:
#指定storm使用的zk叢集
storm.zookeeper .servers:
- "zk01"
- "zk02"
- "zk03"
#指定storm叢集中的nimbus節點所在的伺服器
nimbus.host: "storm01"
#指定nimbus啟動JVM最大可用記憶體大小
nimbus.childopts: "-Xmx1024m"
#指定supervisor啟動JVM最大可用記憶體大小
supervisor.childopts: "-Xmx1024m"
#指定supervisor節點上,每個worker啟動JVM最大可用記憶體大小
worker.childopts : "-Xmx768m"
#指定ui啟動JVM最大可用記憶體大小,ui服務一般與nimbus同在一個節點上。
ui.childopts: "-Xmx768m"
#指定supervisor節點上,啟動worker時對應的埠號,每個埠對應槽,每個槽位對應一個worker
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
5.分發安裝包
scp -r /export/servers/apache-storm-0.9.5 storm02:/export/servers scp -r /export/servers/apache-storm-0.9.5 storm03:/export/servers
6. 啟動叢集
在nimbus.host所屬的機器上啟動 nimbus服務
cd /export/servers/storm/bin/
nohup ./storm nimbus &
在nimbus.host所屬的機器上啟動ui服務
cd /export/servers/storm/bin/
nohup ./storm ui &
在其它個點選上啟動supervisor服務
cd /export/servers/storm/bin/
nohup ./storm supervisor &
7.檢視叢集
訪問nimbus.host:/8080,即可看到storm的ui介面
8.Storm常用操作命令
有許多簡單且有用的命令可以用來管理拓撲,它們可以提交、殺死、禁用、再平衡拓撲。
提交任務命令格式:storm jar 【jar路徑】 【拓撲包名.拓撲類名】 【拓撲名稱】
bin/storm jar examples/storm-starter/storm-starter-topologies-0.10.0.jar storm.starter.WordCountTopology wordcount
殺死任務命令格式:storm kill 【拓撲名稱】 -w 10(執行kill命令時可以通過-w [等待秒數]指定拓撲停用以後的等待時間)
storm kill topology-name -w 10
停用任務命令格式:storm deactivte 【拓撲名稱】
storm deactivte topology-name
我們能夠掛起或停用執行中的拓撲。當停用拓撲時,所有已分發的元組都會得到處理,但是spouts的nextTuple方法不會被呼叫。銷燬一個拓撲,可以使用kill命令。它會以一種安全的方式銷燬一個拓撲,首先停用拓撲,在等待拓撲訊息的時間段內允許拓撲完成當前的資料流。
啟用任務命令格式:storm activate【拓撲名稱】
storm activate topology-name
重新部署任務命令格式:storm rebalance 【拓撲名稱】
storm rebalance topology-name
再平衡使你重分配叢集任務。這是個很強大的命令。比如,你向一個執行中的叢集增加了節點。再平衡命令將會停用拓撲,然後在相應超時時間之後重分配worker,並重啟拓撲。