Hadoop2.x實戰:WordCount例項執行
阿新 • • 發佈:2019-02-19
摘要:本文主要講了hadoop2.7.2自帶的WordCount例項執行
作業系統:Ubuntu14.04
hadoop版本:2.7.2
例項測試wordCount
1、啟動hadoop
/usr/hadoop/hadoop-2.7.2/sbin
./start-dfs.sh
./start-yarn.sh
輸入Jps如下,說明啟動成功2、新建一個目錄
cd /usr/hadoop/hadoop-2.7.2
hadoop fs -mkdir /input
當前在hadoop的目錄下,有個LICENSE.txt的檔案,把它放到hdfs的input目錄下面
hadoop fs -put LICENSE.txt /input
3、檢視檔案是否正確傳入到/input目錄下
hadoop fs -ls /input
hadoop fs -cat /input/LICENSE.txt
cd /usr/hadoop/hadoop-2.7.2/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.7.2.jar wordcount /input /output2
如果卡在mapreduce.Job: Running job
在etc/hadoop/mapred-site.xml中,將配置改成如下內容,然後重新執行
<configuration> <property> <name>mapred.job.tracker</name> <value>hmaster:9001</value> </property> </configuration>
執行結束後輸出:
6、檢視輸出結果的目錄
hadoop fs -ls /output
7、檢視最終執行結果
hadoop fs -cat /output2//part-00000