編寫環境

hadoop-2.6.5
python-2.7.5
xshell連線
金山雲平臺，一臺master，3臺selvet

資料型別

g 445
a 1117
b 222
c 333
d 444
e 123
f 345
h 456

map.py

  1 #!/usr/bin/env python
  2 import sys
  3 list1=[]
  4 for line in sys.stdin:
  5     line=line.strip()
  6     words = line.split("\n")
  7     list1.append(words
 
[0])
  8 for x in range(len(list1)):
  9     print list1[x]

reducer.py

按字典值排序

  1 #!/usr/bin/env python
  2 from operator import itemgetter
  3 import sys
  4 dick1={}
  5 for line in sys.stdin:
  6     words = line.split("\n")
  7     if words[0][0]=='\t':
  8         continue
  9     else:
 10 
 11
 
         word =words[0].split(" ")
 17         dick1[word[0]]=int((word[1].split("\t"[0]))[0])
 18 dick2=sorted(dick1.items(), key=lambda d:d[1], reverse = False)
 19 for one in dick2:
 20     print one

執行命令

bin/hadoop jar /home/hadoop/hadoop-2.6.5/share/hadoop/tools/lib/hadoop-streaming-2.6.5.jar -file /home/hadoop/hadoop-2.6
 
.5/py/mapper.py -mapper /home/hadoop/hadoop-2.6.5/py/mapper.py  -file /home/hadoop/hadoop-2.6.5/py/reducer.py -reducer /home/hadoop/hadoop-2.6.5/py/reducer.py  -input usr/README.txt -output usr/out

說明及錯誤解釋

1，如過是win平臺上傳 .py檔案 ./無法執行，報沒有資料夾等問題，是此檔案的編碼有問題，在#!/usr/bin/env python後面的換行是有問題的，解決辦法是刪除了vim建立新的檔案
2，PipeMapRed.waitOutputThreads(): subprocess failed with code 1
你的程式碼有問題，執行錯誤
3，PipeMapRed.waitOutputThreads(): subprocess failed with code 2
你的檔案對於空格和tab，換行等符號有問題
4，PipeMapRed.waitOutputThreads(): subprocess failed with code 127
沒有找到可以執行的python直譯器，一般要新增#!/usr/bin/env python
使用#!/usr/bin/python 也是無法執行的，可能是hadoop是使用./執行程式吧
測試時一定要測試 ./ 是否可以執行
5，執行完之後失敗請 hadoop fs -rmr 你的檔案 將資料夾刪除
6，-output 後面是資料夾目錄
7，hadoop-streaming-2.6.5.jar 檔案在hadoop-2.6.5/share/hadoop/tools/lib
下，在使用bin/hadoop jar 命令時檔案以當前的位置為相對位置
如上命令可改為如下：

bin/hadoop jar share/hadoop/tools/lib/hadoop-streaming-2.6.5.jar -file py/mapper.py -mapper py/mapper.py  -file py/reducer.py -reducer py/reducer.py  -input usr/README.txt -output usr/out

8，如果命令報找不到檔案，加 -file 檔案位置，無錯的話，命令可再簡化為：

bin/hadoop jar share/hadoop/tools/lib/hadoop-streaming-2.6.5.jar -mapper py/mapper.py -reducer py/reducer.py  -input usr/README.txt -output usr/out

9，一定要檢查程式碼的正確性，map進行資料的清洗和處理，如果格式不清楚，多次reduce -print出格式，
hadoop job

檢視輸出檔案內容