在Centos叢集上搭建Storm完全分散式環境
阿新 • • 發佈:2019-02-04
一、環境準備
- 叢集:三臺linux伺服器,系統不限寫部落格
- 三臺伺服器的zookeeper已安裝並處於執行階段
- 三臺伺服器的jdk1.8環境已安裝,如沒有,請參考我的部落格
- 叢集環境如下:
# OS hostname ip software notes 1 centos master 192.168.0.1
zookeeper
storm主控節點 2 centos node1 192.168.0.2
zookeeper
storm工作節點 3 centos node2 192.168.0.3 zookeeper
storm工作節點 - hostname設定和相關免密登入請參考hadoop叢集搭建的設定
二、Storm安裝
2.1 下載storm
# wget https://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.1.0/apache-storm-1.1.0.tar.gz
2.2 安裝
解壓縮到特定位置,我這裡選擇目錄位置為
/usr/local/storm
進入storm資料夾,使用下面命令建立一個storm臨時資料夾
cd /usr/local/storm
mkdir data
進入/usr/local/storm/conf下修改storm.yarm配置檔案
cd /usr/local/storm/conf
vim storm.yarm
修改對應部分如我的所示:
- storm.zookeeper.servers:表示zookeeper的叢集地址,如果Zookeeper叢集使用的不是預設埠,那麼還需要配置storm.zookeeper.port
- storm.zookeeper.port: Zookeeper叢集的埠號
- storm.local.dir: 用於配置Storm儲存少量檔案的路徑
- nimbus.seeds: 用於配置主控節點的地址,可以配置多個
2.3 複製配置到另外的機器上
複製配置好的storm到其他兩臺主機:
scp -r usr/local/storm/ node1:usr/local/
scp -r sr/local/storm/ node2:usr/local/
三、配置環境變數
vim /etc/profile
在文件的最下面新增如下配置
# storm
export STORM_HOME=/usr/local/storm
export PATH=$PATH:$STORM_HOME/bin
最後再使用命令
source /etc/profile
使得配置生效
注:所有節點都需要設定
四、啟動Storm
4.1 啟動主控節點
#主節點上執行
nohup $STORM_HOME/bin/storm nimbus &
4.2 啟動工作節點
#從節點上執行
nohup $STORM_HOME/bin/storm supervisor &
注意:有幾個從節點就要分別在從節點上執行上述程式碼
4.3 啟動管理頁面
#主控節點上執行
nohup $STORM_HOME/bin/storm ui &
4.4 在管理頁面上檢視Storm叢集的情況(檢視是否執行成功)
預設埠號8080.需要關閉防火牆或者開啟相應的埠號即可。