1. 程式人生 > >【三】storm安裝高可用HA叢集版

【三】storm安裝高可用HA叢集版

環境ubuntu16.04

jdk1.8安裝

python3(2或3都行)安裝

zookeeper3.4.9安裝

使用storm1.1.1

解壓

tar -zxvf apache-storm-1.1.1.tar.gz

修改名字

mv apache-storm-1.1.1 storm

新增環境變數

vi ~/.bashrc

export STORM_HOME=/app/storm

export PATH=:$PATH:$STORM_HOME/bin

使環境變數生效

source ~/.bashrc


單機版:

單機版不用自己安裝zookeeper。

解壓storm.tar後 ,什麼配置檔案都不用改,只用加個環境變數就行了。

 cd /app/storm/bin

啟動storm自帶的ZK    nohup sh storm dev-zookeeper &

啟動nimbus    nohup sh storm nimbus &

啟動nimbus    nohup sh storm ui &

啟動nimbus    nohup sh storm supervisor &

啟動nimbus    nohup sh storm logviewer &


叢集版:

4臺機器

                nimbus            supervisor        zookeeper

node1            Y                                         Y

node2                                Y                     Y

node3                                Y                     Y

node4            Y                  Y                    

叢集版要先安裝zookeeper

修改配置檔案

cd /app/storm/conf

vi storm.yaml

指明zookeeper所在伺服器的IP

空格storm.zookeeper.servers:
     - "node1"

     - "node2"

     - "node3"

指明nimbus.這裡做HA,有兩個nimbus

 空格nimbus.seeds:空格["node1",空格"node4"]

storm狀態目錄配置,這個目錄用於儲存storm的臨時狀態

空格storm.local.dir:空格"/app/storm/tmp"


supervisor.slots.ports為每個機器配置workers數量,預設是4個worker,埠6700 6701 6702 6703。如果要加worker,這裡再多配埠號就行,比如多配一個woker在6704。這裡我沒有配置這個,就讓它用預設的。

建立目錄

mkdir /app/storm/tmp

啟動

啟動storm之前要先啟動zookeeper

cd /app/zookeeper/bin

./zkServer.sh start

cd /app/storm/bin

啟動storm的時候先啟動nimbus再啟動supervisor

對nimbus節點node1和node4啟動

nohup sh storm nimbus &


對nimbus節點(node1)點啟動

nohup sh storm ui &


對supervisor節點(node2、node3、node4)啟動

nohup sh storm supervisor &

對每個節點啟動logviewer 

nohup sh storm logviewer &

對每臺機器jps看是否啟動好了

node1


node2


node3


node4


ui訪問介面http://node1:8080

訪問的是啟動UI的機器的IP


storm常見基本配置