Hadoop wordcount Demon
阿新 • • 發佈:2017-07-03
dir 搭建 out light tails txt bash 運行結果截圖 -m
搭建完成Hadoop後,第一個demon,wordcount。此處參考:http://blog.csdn.net/wangjia55/article/details/53160679
wordcount是hadoop的入門經典.
1.在某個目錄下新建若幹文件,我在各個文件裏都添加了一些英文文章段落:
2.在hadoop-2.7.3目錄下創建一個wordcountTest目錄:
bin/hdfs dfs -mkdir /wordcountTest
查看剛才建立的目錄:
bin/hdfs dfs -ls /
可以發現,已經建立起了wordcountTest目錄。
3.將步驟1中本地的text文件上傳到hdfs中:
bin/hdfs dfs -put /home/hadoop/hadoop-2.7.3/hadoop_test/*.txt /wordcountTest
查看上傳結果:
bin/hdfs dfs -ls /wordcountTest
顯示上傳已完成。
4.運行wordcount
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /wordcountTest/*.txt /wordcountTest/out.txt
運行結果截圖:
查看運行結果:
bin/hdfs dfs -ls /wordcountTest/out.txt/
其中運行結果存儲在part-r-00000中。
查看part-r-00000文件內容:
bin/hadoop fs -cat /wordcountTest/out.txt/part-r-00000
截圖是部分wordcount結果:
Hadoop wordcount Demon