執行MapReduce任務
阿新 • • 發佈：2020-02-07
1：執行MapReduce任務
1：原始資料準備
統計使用者的登入次數：
源資料login_log.txt如下：
2：應用程式準備
叢集目錄：
$HADOOP_HOME/share/hadoop/mapreduce/中找到程式包：
hadoop-mapreduce-examples-2.6.4.jar
該程式包提供了一些測試模組：
wordcount //對輸入檔案中的單詞進行詞頻統計
pi //估算圓周率pi的值
wordmean //計算輸入檔案中單詞的平均長度
3：提交任務指令解析
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.4.jar
wordcount /user/root/login_log.txt /user/root/output
說明：
wordcount //指定程式包的主類
/user/root/login_log.txt //hdfs上需要計算的原始檔
/user/root/output //hdfs上輸出檔案的目錄
4：檢視輸出結果
在/user/root/output目錄下有兩個檔案：
_SUCCESS //這是標識檔案，表示這個任務執行完成
part-r-00000 //完成任務後產生的結果檔案
輸出前5行：
hadoop fs -cat /user/root/output/part-r-00000 | head -n 5
5：檢視叢集的資源管理情況
https://master:18088
檢視計算資源的使用情況
檢視mapreduce的任務列表
檢視具體作業的詳細資訊
&n