接下來記錄一下如何使用hadoop-streaming執行一個簡單的mapreduce

hadoop-streaming

hadoop-streaming和spark-streaming不是一個意思

簡單的說hadooop-streaming是一個框架，可以讓任何語言編寫的mr程式都能在hadoop上執行，只需要遵循標準輸入stdin輸出stdout即可。

因此我們可以用python寫一個mr過程來體驗一下

先寫一個map.py

 import sys
   
 for line in sys.stdin:
           ss = line.strip().split(' ')
           for word in ss:
                   print('\t'.join([word.strip(),"1"]))
 

隨便寫一個測試檔案 word.txt

張三 李四
黃二 小牛
張三 小牛
李四 黃一

然後使用以下命令，體會一下map過程

cat word.txt | python map.py

輸出

張三	1
李四	1
黃二	1
小牛	1
張三	1
小牛	1
李四	1
黃一	1

是不是很有趣~

接著我們寫一個簡單的red.py體驗一下reduce過程

import sys 

cur_word = None
sum=0

for line in sys.stdin:
    word,cnt = line.strip().split('\t')

    if cur_word == None:
        cur_word = word
    if cur_word!=word:
        print('\t'.join([cur_word,str(sum)]))
        cur_word = word
        sum=0
    sum+=int(cnt)
 

cat word.txt | python map.py | sort -k 1 | python red.py

上述命令對map的結果進行了sort，這是模擬了mr的排序過程

輸出

小牛	2
張三	2
李四	2
黃一	1

一個簡單的wordcount就這麼寫好啦~

那麼怎麼才能提交python編寫的mr程式給hadoop呢

這就需要用到hadoop-streaming這個框架了

在這裡為了以後使用方便，寫成shell指令碼

HADOOP_CMD="/Users/huangxiao/hadoop-2.7.3/bin/hadoop"#我的hadoop位置
STREAM_JAR_PATH="/Users/huangxiao/hadoop-2.7.3//share/hadoop/tools/lib/hadoop-streaming-
2.7.3.jar"#streaming這個jar包的位置
INPUT_FILE_PATH_1="/word.txt"#測試檔案在hdfs中的位置。所以需要先將檔案傳入hdfs中
OUTPUT_PATH="/output"#檔案輸出目錄（執行mr前一定不能存在，mr自己會建立）

$HADOOP_CMD fs -rmr -skipTrash $OUTPUT_PATH#刪除原有的輸出資料夾

#step 1.下面程式碼就是使用streaming框架的命令，具體引數就不解釋了
$HADOOP_CMD jar $STREAM_JAR_PATH \
        -input $INPUT_FILE_PATH_1 \
        -output $OUTPUT_PATH \
        -mapper "python map.py" \
        -reducer "python red.py" \
        -file ./map.py \
        -file ./red.py
 

然後

bash run.sh

就可以看到hadoop執行這個程式啦

還可以在8088埠檢視喲

執行結果如下

當然啦這只是入門增加興趣的小demo

現在很多專案都是用spark來做了