Hadoop wordcount 小例項
阿新 • • 發佈:2018-12-02
step one:
啟動hadoop叢集;
進入hadoop,為防止進入錯誤,可以先:cd / 進入根目錄後,然後 cd ,就會進去hadoop下面
建立一個檔案,或者rz上傳一些檔案,
- touch test.guyong.cn
- vi test.guyong.cn //然後再裡面寫一些內容
把建立的檔案上傳到HDFS中,
- hadoop fs -put test.guyong.cn /
這是把test.guyong,cn的檔案上傳到HDFS的根目錄下
然後就可以檢視HDFS中的檔案了
- hadoop fs -ls /
step two:
在主節點hadoop01,也就是master上輸入
- hadoop jar /export/software/hadoop/hadoop-3.1.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount /test.guyong.cn /testwordcount/result
在hadoop安裝目錄下的share 檔案下,找到mapreduce的example,wordcount 表示單詞統計,然後對剛剛建立的test.guyong.cn進行單詞統計,把結果result放到HDFS根目錄下的testwordcount資料夾裡面。
step three:
檢視結果,檢視HDFS裡面的檔案,
- hadoop fs -ls /
- hadoop fs -ls /testwordcount/result
出現的兩個結果,
/testwordcount/result/_SUCCESS
/testwordcount/result/part-r-00000
第一個檔案_SUCCESS 是標識此次執行成功
使用cat檢視第二個檔案
- hadoop fs -cat /testwordcount/result/part-r-00000
裡面就是你統計的結果,