1. 程式人生 > >Hadoop2.x實戰:WordCount例項執行

Hadoop2.x實戰:WordCount例項執行

      摘要:本文主要講了hadoop2.7.2自帶的WordCount例項執行

      作業系統:Ubuntu14.04

      hadoop版本:2.7.2

例項測試wordCount

1、啟動hadoop

/usr/hadoop/hadoop-2.7.2/sbin
./start-dfs.sh 
./start-yarn.sh 
輸入Jps如下,說明啟動成功
2、新建一個目錄
cd /usr/hadoop/hadoop-2.7.2
hadoop fs -mkdir /input

當前在hadoop的目錄下,有個LICENSE.txt的檔案,把它放到hdfs的input目錄下面
hadoop fs -put LICENSE.txt /input

3、檢視檔案是否正確傳入到/input目錄下
hadoop fs -ls /input
4、檢視檔案內容
hadoop fs -cat /input/LICENSE.txt
5、執行
cd /usr/hadoop/hadoop-2.7.2/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount /input /output2

如果卡在mapreduce.Job: Running job
在etc/hadoop/mapred-site.xml中,將配置改成如下內容,然後重新執行
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hmaster:9001</value>
</property>
</configuration>

執行結束後輸出:




6、檢視輸出結果的目錄

hadoop fs -ls /output


表示在input目錄下已經有了一個名為output2的檔案目錄

7、檢視最終執行結果
hadoop fs -cat /output2//part-00000