在windows10下搭建Storm並執行WordCount詳解（單機版）！
- 釋出時間：2018-04-10 來源：網路 上傳者：使用者
-
關鍵字: 單機版 搭建 詳解 WordCount windows10 執行 Storm
發表文章 - 摘要：作為主流的大資料處理平臺,不同於批處理的Hadoop,Storm的實時計算以及拓撲結構有其獨有的優勢(當然,只是針對於不同的情況下)。初學Storm,網上的教程大都是在Linux下搭建的平臺,也有少許windows下搭建的,這裡,結合本人親自摸索以及對網上教程的參考給出Stepbystep教程。著重感謝fqf的指導和幫助,fqf的配置教程。Step1:準備四樣必須安裝的東西①jdk//jdk6②Python//Python27③zookeeper//zookeeper-3.4
-
作為主流的大資料處理平臺,不同於批處理的Hadoop,Storm的實時計算以及拓撲結構有其獨有的優勢(當然,只是針對於不同的情況下)。初學Storm,網上的教程大都是在Linux下搭建的平臺,也有少許windows下搭建的,這裡,結合本人親自摸索以及對網上教程的參考給出Step by step教程。著重感謝fqf的指導和幫助,fqf的配置教程。
Step 1:準備四樣必須安裝的東西
①jdk //jdk 6
②Python //Python 27
③zookeeper //zookeeper-3.4.6
④storm //apache-storm-0.9.3
這裡jdk 、zookeeper、storm都不是最新版本,而且不能使最新版本,因為storm並沒有發行針對於windows下的版本,apache-storm-0.9.3只是修改後的測試版,而且值得注意的是,不同jdk版本和zookeeper版本也有可能導致配置不成功,本人就在版本上解除安裝重灌了很多次後才搭建成功,讀者可自行嘗試。以上四個版本是我搭建成功所用的版本。Step 2:配置環境變數
%JAVA_HOME% C:/Java/jdk1.6.0_43 Path:%JAVA_HOME%/bin /* *值得一提的是,java的預設安裝環境在Program Files下,如果這麼裝則執行時會報錯,%JAVA_HOME%不對,原因是這樣%JAVA_HOME%路路徑Program Files中含有空格, *我是在C盤根目錄下建立JAVA的資料夾然後把jdk和jre都裝在這個資料夾裡 */
①jdk需要配置②Python的配置
C:/Python27 C:/Python27/Lib/site-packages C:/Python27/Scripts③zookeeper配置
C:/Storm_Project/Zookeeper/zookeeper-3.4.6/binC:/Storm_Project/Zookeeper/zookeeper-3.4.6/conf我是在C盤根目錄下建立了一個Storm_Project的資料夾,然後把zookeeper和Storm都裝在這④Storm配置
%STORM_HOME% C:/Storm_Project/Storm/apache-storm-0.9.3 Path:%STORM_HOME%/bin⑤PATHEXT配置
最後加上 ;.PY
Step 3:
開啟控制檯(win+r cmd)①進入zookeeper的bin目錄下找到zkSever雙擊開啟(一定要先開啟zkSever) ②進入控制檯(win + r cmd) cd %STORM_HOME% storm nimbus storm supervisor storm ui //這三個命令每輸入一個都會看到zkSever控制檯上的資訊會改變還可以輸入jps查詢 ③開啟瀏覽器輸入 http://localhost:8080/ 彈出ui介面且沒有報錯則配置成功
Step 4:
測試WordCount ①下載storm-start原始碼:https://github.com/nathanmarz/storm-starter ②進入storm-start解壓目錄執行命令打包:mvn -f m2-pom.xml package (可以直接找我要解壓好的包qq:915606624) ③先cd bin/再執行:storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.WordCountTopology test 生成一個topology ④控制檯輸入 storm list 檢視topology列表
這個時候重新整理UI介面就可以看到topology了,執行完畢後,必須在UI介面上點選topology test開啟並在topology action裡手動kill這個topology否則你重啟都不會結束(親測)。
小結:在windows配置storm比在linux下配置要噁心得多,配置一下只是為了熟悉storm,得助於網上眾多教程以及fqf的指導,才得以配置成功,現在只想分享一下自己的經驗,不足之處還望讀者見諒並給出指導意見。在配置環境變數的時候不小心誤刪了path,恢復無果只能重灌系統,在此提醒大家配置環境變數最好先備份。初學Storm如果有對大資料雲端計算這方面有研究的,歡迎交流。
- 以上是在windows10下搭建Storm並執行WordCount詳解（單機版）！的內容，更多 單機版 搭建 詳解 WordCount windows10 執行 Storm 的內容，請您使用右上方搜尋功能獲取相關資訊。