Python Hadoop使用時注意的坑-- MRJob框架及python環境執行
阿新 • • 發佈:2019-01-31
時間有限複雜的問題簡單說,什麼都不如來乾貨~
使用MRJob框架 時用網上說的提交任務到叢集的命令,程式會跑著掛掉。。。報143 127 的錯誤!!後來才發現正確的是:
本地執行命令 python mypyfile.py -r local <input> python mypyfile.py -r local <input> >outfilename 注意!寫路徑的話只有資料的輸入路徑 要想同時指定輸出路徑可以追加到本地還有,如果本地跑的話可能會報: subprocess failed with code 127,code * ... 注意!寫路徑的話只有資料的輸入路徑 要想同時指定輸出路徑可以使用-o的引數 前面寫輸入 後面是輸出路徑