Linux 環境下執行hadoop 的wordcount 程式
阿新 • • 發佈:2018-11-29
我相信每個人部署完hadoop 環境之後,都想執行一下程式,就比如學習java的時候,配置好環境變數,就想執行一下程式輸出一個hellop word。
wordcount程式,統計文字中的字元出現次數。本次,主要目的是在liunx執行一下wordcount,看看輸出的效果。下一篇會介紹在win系統下連結linux hadoop 叢集,執行wordcount,並理解hadoop 的mapreduce元件。
hadoop 叢集搭建請移步:https://mp.csdn.net/mdeditor/84073712
第一步:hdfs系統建立input 目錄。
hadoop fs -mkdir input
第二步:上傳需處理的檔案到hadoop的hdfs系統
本地建立 a.txt,b.txt 檔案,將檔案上傳到hadoop的hdfs系統上。
我的a.txt,和b.txt 反正test目錄下。
hadoop -fs -put test/a.txt input
hadoop -fs -put test/b.txt input
可以看到 a.txt 和 b.txt的內容。
第三步:執行wordcount
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples*.jar wordcount input output
執行後,會生成output 資料夾,計算結果就放在了 part-r-00000 檔案下,結果如下圖。