Linux上Storm叢集環境的搭建
一:什麼是Storm?
Storm是開源的一個分散式實時計算系統,用於資料的實時分析,持續計算,分散式RPC、線上機器學習、ETL等。例如,在電商購物網站購買商品時,會在網頁旁邊或者底端看到與自己所需要商品相關的系列商品,這就是使用類似Storm實時計算去做的。Hadoop適用於海量資料的離線資料分析,無法做到實時分析計算。
Storm系統的設計保證了訊息能得到快速的處理,使用ZeroMQ作為其底層訊息佇列。Storm有一個"本地模式",可以在處理過程中完全模擬Storm叢集,可以使我們快速進行開發和單元測試。Storm支援水平擴充套件,具有高容錯性,保證每個訊息都會得到處理,而且處理速度很快,在一個小叢集中,,每個結點每秒可以處理數以百萬計的訊息。Storm的部署和運維都很便捷,可以使用任意程式語言來開發應用。
二:Storm環境搭建
1:需要安裝的軟體
jdk的下載與安裝,具體步驟參考https://mp.csdn.net/postedit/84196901這篇部落格
zookeeper的下載與安裝,具體步驟參考https://mp.csdn.net/postedit/84201320這篇部落格
storm安裝包的下載
下載地址:http://mirrors.hust.edu.cn/apache/storm/apache-storm-1.2.2/
cd /usr/local/hadoop
tar -zxvf apache-storm-1.2.2.tar.gz
cd /apache-storm-1.2.2/conf/
修改配置檔案storm.yaml
stom.zookeeper.servers:zookeeper叢集的ip地址
nimbus.host:Storm叢集中master的IP地址
storm.local.dir:配置data資料夾
ui.port:網頁訪問的埠號
supervisor.slots.ports:worker在執行過程中使用的埠號
注意上圖中箭頭位置的空格,不要去掉,否則可能會導致Storm無法正常啟動
將主機器的storm傳到從機器中去
scp /usr/local/hadoop/apache-storm-1.2.2/ @slave1:/usr/local/hadoop
scp /usr/local/hadoop/apache-storm-1.2.2/ @slave2:/usr/local/hadoop
修改各個主機的系統配置檔案 /etc/profile
vim /etc/profile
新增export STORM_HOME=/usr/local/apache-storm-1.2.1
修改export PATH=$JAVA_HOME/bin:$STORM_HOME/bin:$PATH
然後執行source /etc/profile
三:storm叢集的啟動
首先,啟動Zookeeper叢集,具體操作看我之前搭建Zookeeper叢集的部落格裡面有詳細介紹
其次,啟動Storm叢集
主機器192.168.10.138 從機器:192.168.10.139、192.168.10.141
主機器(nimbus): storm nimbus &
從機器(supervisor): storm supervisor &
主機器ui執行: storm ui &
主機器logviewer執行: storm logviewer &
檢視程序可以看到啟動了
在瀏覽器中訪問http://192.168.10.138:8081 ,可以檢視storm的一些叢集配置
這樣storm的叢集環境就搭建好啦。