1. 程式人生 > >Python Hadoop使用時注意的坑-- MRJob框架及python環境執行

Python Hadoop使用時注意的坑-- MRJob框架及python環境執行

時間有限複雜的問題簡單說,什麼都不如來乾貨~

使用MRJob框架 時用網上說的提交任務到叢集的命令,程式會跑著掛掉。。。報143 127 的錯誤!!

後來才發現正確的是:

本地執行命令 python mypyfile.py -r local <input> python mypyfile.py -r local <input> >outfilename 注意!寫路徑的話只有資料的輸入路徑 要想同時指定輸出路徑可以追加到本地還有,如果本地跑的話可能會報: subprocess failed with code 127,code *  ...
        後面錯誤碼不管是什麼,都是 指令碼環境的問題        在python腳本里面宣告的:#!/usr/bin/env python,這裡聲明瞭位置,所以必須要放到 /usr/bin 下面,才能有效。         python 執行程式必須放到 /usr/bin 下面,在環境變數的其他位置不管用叢集執行命令 python mypyfile.py -r hadoop<input> python mypyfile.py -r hadoop<input> >outfilename 結果輸出到本地 python mypyfile.py -r hadoop hdfs://jackie/data/qq.txt python mypyfile.py -r hadoop -o hdfs://jackie/data/qq.txt hdfs://jackie/data/result

                  注意!寫路徑的話只有資料的輸入路徑 要想同時指定輸出路徑可以使用-o的引數 前面寫輸入 後面是輸出路徑