1. 程式人生 > >Hadoop wordcount 小例項

Hadoop wordcount 小例項

step one:

啟動hadoop叢集;

進入hadoop,為防止進入錯誤,可以先:cd / 進入根目錄後,然後 cd ,就會進去hadoop下面

建立一個檔案,或者rz上傳一些檔案,

  • touch test.guyong.cn
  • vi test.guyong.cn //然後再裡面寫一些內容

把建立的檔案上傳到HDFS中,

  • hadoop fs -put test.guyong.cn /

這是把test.guyong,cn的檔案上傳到HDFS的根目錄下

然後就可以檢視HDFS中的檔案了

  • hadoop fs -ls /

step two:

在主節點hadoop01,也就是master上輸入

  • hadoop jar /export/software/hadoop/hadoop-3.1.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount /test.guyong.cn /testwordcount/result

在hadoop安裝目錄下的share 檔案下,找到mapreduce的example,wordcount 表示單詞統計,然後對剛剛建立的test.guyong.cn進行單詞統計,把結果result放到HDFS根目錄下的testwordcount資料夾裡面。

step three:

檢視結果,檢視HDFS裡面的檔案,

  • hadoop fs -ls / 
  • hadoop fs -ls /testwordcount/result

出現的兩個結果,

/testwordcount/result/_SUCCESS
 /testwordcount/result/part-r-00000

第一個檔案_SUCCESS 是標識此次執行成功

使用cat檢視第二個檔案

  • hadoop fs -cat /testwordcount/result/part-r-00000

裡面就是你統計的結果,