嘗試參加阿里雲 天池 大賽 (看看odps到底封裝的多好)1,本地跑通了。2、把mr程式上傳到御膳房
額,聽說odps是封裝hadoop上的二次開發。。。
試試
download下來專案到eclipse 裡 出現的第一個錯誤是: 錯誤: 找不到或無法載入主類 my.group.mapreduce.JobLauncher
這個比較簡單,因為自己手賤點了maven clean 然後 要重新install 一下對應的包
然後本地執行第一個jobluncher的時候,出現start combine 額,然後就卡住了,這個時候把 配置檔案裡的 base.mapred.xml 的combine 內容刪掉或者節點註釋掉
然後又有問題 ODPS-0720503:Unexpected intermediate output in mapper, it is only allowed in mapreduce (reduce num > 0) jobs
at my.group.mapreduce.MyMapper.map(MyMapper.java:24)
這個讓我非常的無解啊啊
後來師弟說是把main函式裡的時間改一下,改成2015XXXX就可以了。。
試了一下,終於跑通了。。。
仔細看了一下,和之前自己配的hadoop環境和格式真的好像啊。。。
執行好了mapreduce (mr)程式後,就可以嘗試上傳到阿里雲的御膳房(odps)平臺看看了。
也很簡單 按照:提交程式 的步驟就可以了
http://www.yushanfang.com/portal/help/doc.html?spm=0.0.0.0.33VYdM&file=MrUdfLocalDev
但是這裡要注意下,所有的配置都不要改動。官方文件上的。
注意自己的 base.mapred.xml 檔案裡的
<baseId>cccccc</baseId>
<projectId>ccccc</projectId>
<resourceName>cccccccc</resourceName>
<idePath>工作流/mapreducetest</idePath>
都配置正確了沒有,而且 最後的ide路徑已經在瀏覽器中已經建立
table 標籤裡的 inputtable 和 outputtable 還上想要統籌的表名
還有個問題,maven 是要安裝的。。。 不是eclipse裡的外掛,是另外要在apache或者其他地方下載的軟體
然後還要配置環境變數。。。版本似乎在這裡不受控制。。。
都配置好了後,然後把eclipse的外掛 installation 裡的路徑指向安裝路徑
然後修改安裝路徑下的conf 資料夾下的 setting.xml檔案
把官方文件的xml 原封不動的拷貝上去就可以了。
然後把整個setting 檔案拷貝到 C:\Users\Administrator\.m2 裡頭
然後上傳的按鈕怎麼操作就可以和官網一樣設定就好了。。。
還有那四個輔助引數不能輸入錯誤,連空格都不能多出,否則編譯程式會報錯的。。。
引導就這樣,over了~~
Ps:上傳上的mr程式是肯定不能執行的,雖然本地可以。。。但是輸入輸出都不一樣啊啊啊啊嗄。所以,趕緊寫新的mr程式吧。。。