1. 程式人生 > >嘗試參加阿里雲 天池 大賽 (看看odps到底封裝的多好)1,本地跑通了。2、把mr程式上傳到御膳房

嘗試參加阿里雲 天池 大賽 (看看odps到底封裝的多好)1,本地跑通了。2、把mr程式上傳到御膳房

額,聽說odps是封裝hadoop上的二次開發。。。

試試

download下來專案到eclipse 裡 出現的第一個錯誤是: 錯誤: 找不到或無法載入主類 my.group.mapreduce.JobLauncher

這個比較簡單,因為自己手賤點了maven clean  然後 要重新install 一下對應的包

然後本地執行第一個jobluncher的時候,出現start combine  額,然後就卡住了,這個時候把 配置檔案裡的 base.mapred.xml 的combine 內容刪掉或者節點註釋掉

然後又有問題 ODPS-0720503:Unexpected intermediate output in mapper, it is only allowed in mapreduce (reduce num > 0) jobs

at my.group.mapreduce.MyMapper.map(MyMapper.java:24)

這個讓我非常的無解啊啊

後來師弟說是把main函式裡的時間改一下,改成2015XXXX就可以了。。

試了一下,終於跑通了。。。

仔細看了一下,和之前自己配的hadoop環境和格式真的好像啊。。。

執行好了mapreduce (mr)程式後,就可以嘗試上傳到阿里雲的御膳房(odps)平臺看看了。

也很簡單  按照:提交程式 的步驟就可以了

http://www.yushanfang.com/portal/help/doc.html?spm=0.0.0.0.33VYdM&file=MrUdfLocalDev

但是這裡要注意下,所有的配置都不要改動。官方文件上的。

注意自己的 base.mapred.xml 檔案裡的 

<baseId>cccccc</baseId>
    <projectId>ccccc</projectId>
    <resourceName>cccccccc</resourceName>
    <idePath>工作流/mapreducetest</idePath>

都配置正確了沒有,而且 最後的ide路徑已經在瀏覽器中已經建立

table 標籤裡的 inputtable 和 outputtable 還上想要統籌的表名

還有個問題,maven 是要安裝的。。。 不是eclipse裡的外掛,是另外要在apache或者其他地方下載的軟體

然後還要配置環境變數。。。版本似乎在這裡不受控制。。。

都配置好了後,然後把eclipse的外掛 installation 裡的路徑指向安裝路徑

然後修改安裝路徑下的conf 資料夾下的 setting.xml檔案

把官方文件的xml 原封不動的拷貝上去就可以了。

然後把整個setting 檔案拷貝到 C:\Users\Administrator\.m2 裡頭

然後上傳的按鈕怎麼操作就可以和官網一樣設定就好了。。。

還有那四個輔助引數不能輸入錯誤,連空格都不能多出,否則編譯程式會報錯的。。。

引導就這樣,over了~~

Ps:上傳上的mr程式是肯定不能執行的,雖然本地可以。。。但是輸入輸出都不一樣啊啊啊啊嗄。所以,趕緊寫新的mr程式吧。。。