1. 程式人生 > >Hadoop wordcount Demon

Hadoop wordcount Demon

dir 搭建 out light tails txt bash 運行結果截圖 -m

  搭建完成Hadoop後,第一個demon,wordcount。此處參考:http://blog.csdn.net/wangjia55/article/details/53160679

  wordcount是hadoop的入門經典.

  1.在某個目錄下新建若幹文件,我在各個文件裏都添加了一些英文文章段落:

  技術分享

  2.在hadoop-2.7.3目錄下創建一個wordcountTest目錄:

  bin/hdfs dfs -mkdir /wordcountTest

  技術分享  

  查看剛才建立的目錄:

  bin/hdfs dfs -ls /

  技術分享

  可以發現,已經建立起了wordcountTest目錄。

  3.將步驟1中本地的text文件上傳到hdfs中:

  bin/hdfs dfs -put /home/hadoop/hadoop-2.7.3/hadoop_test/*.txt /wordcountTest

  查看上傳結果:

  bin/hdfs dfs -ls /wordcountTest

  技術分享

  顯示上傳已完成。

  4.運行wordcount

   bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /wordcountTest/*.txt /wordcountTest/out.txt

  運行結果截圖:

  技術分享

  查看運行結果:

   bin/hdfs dfs -ls /wordcountTest/out.txt/

  技術分享

  其中運行結果存儲在part-r-00000中。

  查看part-r-00000文件內容:

   bin/hadoop fs -cat /wordcountTest/out.txt/part-r-00000

  截圖是部分wordcount結果:

  技術分享

Hadoop wordcount Demon