1. 程式人生 > >MAC下安裝storm及配置開發環境

MAC下安裝storm及配置開發環境

storm的安裝依賴 python、zookeeper等,因為mac下已經有python了,這裡只需要安裝storm和zookeeper即可;

1、下載storm的release版本, 解壓,並且把bin/目錄加到環境變數PATH裡面去。

    vim /etc/profile 

    #set storm

    export STORM_HOME=/usr/local/storm

    export PATH=$STORM_HOME/bin:$PATH

    . /etc/profile

2、安裝zookeeper

    下載地址:http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.2/zookeeper-3.4.2.tar.gz

    tar -zxvf zookeeper-3.4.2.tar.gz

    cp -R zookeeper-3.4.2 /usr/local/

    cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg [製作預設配置檔案]

    vim /etc/profile  
    export ZOOKEEPER_HOME=/usr/local/zookeeper-3.4.2
    export PATH=$PATH:$ZOOKEEPER_HOME/bin

3、下載storm-starter 編譯,並匯入eclipse 工程

    2)使用mvn -f m2-pom.xml package 進行編譯

    3)複製 storm-starter目錄下的m2_pom.xml 為pom.xml ,因為eclipse需要pom.xml

    4)使用mvn eclipse:eclipse編譯成eclipse工程

    5)在Eclipse 中import 選擇storm-starter 的路徑,一般匯入專案後,會需要設定相應的M2_檢視工程是否無誤,可能會需要配置M2_REPO變數,M2_REPO配置方法:工程上右鍵->Properties->Java Build Path->Libraries->AddVariable->Configure Variable->New

輸入Name:M2_REPO , Path:localRepository路徑->ok重新整理工程,程式碼無誤了,可以進行開發了

    6)編譯無誤後,現在本地跑storm.starter目錄下的WordCountTopology,看到如下的截圖,代表本地的local模式可以跑通過使用eclipse的export功能匯出專案的jar包,便於以後分散式的情況下,提交相應的邏輯

4、啟動storm

    1)先啟動zookeeper,sh /usr/local/zookeeper/bin/zkServer start

    2) 啟動nimbus(主節點):/usr/local/storm/bin/storm nimbus

       啟動supervisor(從節點): /usr/local/storm/bin/storm supervisor

       啟動ui:/usr/local/storm/bin/storm ui

5、測試

/usr/local/storm/bin/storm jar storm-starter-0.0.1-SNAPSHOT.jar storm.starter.WordCountTopology test

       此命令的作用就是用storm將jar傳送給storm去執行,後面的test是定義的toplogy名稱。

   至此搞定,任務就傳送到storm上執行起來了。

參考: