1. 程式人生 > >MapReduce 程式的幾種提交執行模式

MapReduce 程式的幾種提交執行模式

目錄

  • 本地模式執行

  • 叢集模式執行

本地模型執行

1/在windows的eclipse裡面直接執行main方法,就會將job提交給本地執行器localjobrunner執行       ----輸入輸出資料可以放在本地路徑下(c:/wc/srcdata/)       ----輸入輸出資料也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)           2/在linux的eclipse裡面直接執行main方法,但是不要新增yarn相關的配置,也會提交給localjobrunner執行       ----輸入輸出資料可以放在本地路徑下(/home/hadoop/wc/srcdata/)       ----輸入輸出資料也可以放在hdfs中(hdfs://weekend110:9000/wc/srcdata)               叢集模式執行

1/將工程打成jar包,上傳到伺服器,然後用hadoop命令提交  hadoop jar wc.jar cn.itcast.hadoop.mr.wordcount.WCRunner

2/在linux的eclipse中直接執行main方法,也可以提交到叢集中去執行,但是,必須採取以下措施:       ----在工程src目錄下加入 mapred-site.xml  和  yarn-site.xml        ----將工程打成jar包(wc.jar),同時在main方法中新增一個conf的配置引數 conf.set("mapreduce.job.jar","wc.jar");      

3/在windows的eclipse中直接執行main方法,也可以提交給叢集中執行,但是因為平臺不相容,需要做很多的設定修改         ----要在windows中存放一份hadoop的安裝包(解壓好的)         ----要將其中的lib和bin目錄替換成根據你的windows版本重新編譯出的檔案         ----再要配置系統環境變數 HADOOP_HOME  和 PATH         ----修改YarnRunner這個類的原始碼【叢集模式執行第三種不推薦】