1. 程式人生 > 實用技巧 >hadoop(6)——mrjob的使用(2)——交給hadoop叢集

hadoop(6)——mrjob的使用(2)——交給hadoop叢集

(1)開啟hdfs和yarn服務
在這裡插入圖片描述

(2)檢視寫好的檔案(同上一篇hadoop(5))
在這裡插入圖片描述
(3)執行命令
在這裡插入圖片描述
(4)任務完成
在這裡插入圖片描述
在這裡插入圖片描述
(5)檢視output
在這裡插入圖片描述

ps:中間遇到了很多坑,比如說在執行該命令向前,一定要先hadoop fs -rm -r /output,不然已經建立了該資料夾hadoop會報錯
還有就是如果在虛擬環境下建立該任務,除了(3)的命令外,一定要加上–
python-bin +/python直譯器的位置引數
還有就是一定要把safe模式關掉:hdfs dfsadmin -safemode leave