jstorm2.1.1 叢集安裝
阿新 • • 發佈:2018-11-15
一、基礎環境:
JDK :1.8.0_65 (要求1.6+)
ZooKeeper:3.4.10
Jstorm2.1.1
主機數:3(要求3+,且必須是奇數,因為ZooKeeper的選舉演算法)
主機名 | IP地址 | JDK | ZooKeeper |
nimbus | 10.116.33.109 | 1.8.0_65 | server.1 |
supervisor | 10.27.185.72 | 1.8.0_65 | server.2 |
supervisor | 10.25.203.67 | 1.8.0_65 | server.3 |
二、節點上安裝配置:
下載並解壓
wget "https://github.com/alibaba/jstorm/releases/download/2.1.1/jstorm-2.1.1.zip"
unzip jstorm-2.1.1.zip
配置環境變數
vim ~/.bash_profile
JSTORM_HOME=/data/jstorm/jstorm-2.1.1
export PATH=$PATH:$JSTORM_HOME/bin
儲存後
source ~/.bash_profile
設定 storm.yaml
vim storm.yaml
storm.zookeeper.servers:zk的IP地址
nimbus.host:nimbus的IP地址
注意:
1.配置檔案中引數前必須有一個空格,否則會解析失敗。
2.最後加入jvm 引數配置,否則記憶體太小無法啟動
nimbus.childopts: "-Xms128m -Xmx128m -Xmn64m -XX:SurvivorRatio=4 -XX:MaxTenuringThreshold=15 -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=70 -XX:+HeapDumpOnOutOfMemoryError -XX:CMSMaxAbortablePrecleanTime=5000"
在提交jar的節點上執行:
mkdir ~/.jstorm
cp -f $JSTORM_HOME/conf/storm.yaml ~/.jstorm
啟動JStorm
在nimbus 節點上執行 nohup jstorm nimbus &, 檢視$JSTORM_HOME/logs/nimbus.log檢查有無錯誤
在supervisor節點上執行 nohup jstorm supervisor &, 檢視$JSTORM_HOME/logs/supervisor.log檢查有無錯誤
執行任務jar
#提交上傳jar
執行jstorm jar xxxxxx.jar com.alibaba.xxxx.xx parameter
- xxxx.jar 為打包後的jar
- com.alibaba.xxxx.xx 為入口類,即提交任務的類
- parameter即為提交引數