【三】storm安裝高可用HA叢集版
環境ubuntu16.04
jdk1.8安裝
python3(2或3都行)安裝
zookeeper3.4.9安裝
使用storm1.1.1
解壓
tar -zxvf apache-storm-1.1.1.tar.gz
修改名字
mv apache-storm-1.1.1 storm
新增環境變數
vi ~/.bashrc
export STORM_HOME=/app/storm
export PATH=:$PATH:$STORM_HOME/bin
使環境變數生效
source ~/.bashrc
單機版:
單機版不用自己安裝zookeeper。
解壓storm.tar後 ,什麼配置檔案都不用改,只用加個環境變數就行了。
cd /app/storm/bin
啟動storm自帶的ZK nohup sh storm dev-zookeeper &
啟動nimbus nohup sh storm nimbus &
啟動nimbus nohup sh storm ui &
啟動nimbus nohup sh storm supervisor &
啟動nimbus nohup sh storm logviewer &
叢集版:
4臺機器
nimbus supervisor zookeeper
node1 Y Y
node2 Y Y
node3 Y Y
node4 Y Y
叢集版要先安裝zookeeper
修改配置檔案
cd /app/storm/conf
vi storm.yaml
指明zookeeper所在伺服器的IP
空格storm.zookeeper.servers:
- "node1"
- "node2"
- "node3"
指明nimbus.這裡做HA,有兩個nimbus
空格nimbus.seeds:空格["node1",空格"node4"]
storm狀態目錄配置,這個目錄用於儲存storm的臨時狀態
空格storm.local.dir:空格"/app/storm/tmp"
supervisor.slots.ports為每個機器配置workers數量,預設是4個worker,埠6700 6701 6702 6703。如果要加worker,這裡再多配埠號就行,比如多配一個woker在6704。這裡我沒有配置這個,就讓它用預設的。
建立目錄
mkdir /app/storm/tmp
啟動
啟動storm之前要先啟動zookeeper
cd /app/zookeeper/bin
./zkServer.sh start
cd /app/storm/bin
啟動storm的時候先啟動nimbus再啟動supervisor
對nimbus節點node1和node4啟動
nohup sh storm nimbus &
對nimbus節點(node1)點啟動
nohup sh storm ui &
對supervisor節點(node2、node3、node4)啟動
nohup sh storm supervisor &
對每個節點啟動logviewer
nohup sh storm logviewer &
對每臺機器jps看是否啟動好了
node1
node2
node3
node4
ui訪問介面http://node1:8080
訪問的是啟動UI的機器的IP
storm常見基本配置