用Python編寫WordCount程序任務
阿新 • • 發佈:2018-05-12
氣象 文本文 con accept stdin hdfs 文本 width exce
1. 用Python編寫WordCount程序並提交任務
程序 |
WordCount |
輸入 |
一個包含大量單詞的文本文件 |
輸出 |
文件中每個單詞及其出現次數(頻數),並按照單詞字母順序排序,每個單詞和其頻數占一行,單詞和頻數之間有間隔 |
2.編寫map函數,reduce函數
import sys for line in sys.stdin: line=line.strip() words=line.split() for word in words: print ‘%s\t%s‘ % (word,1) from operator import itemgetter import sys current_word=None current_count=0 word=None for line in sys.stdin: line=line.strip() word,count=line.split(‘\t‘,1) try: count=int(count) except ValueError: continue if current_word==word: current_count+=count else: if current_word: print ‘%s\t%s‘ % (current_word,current_count) current_count=count current_word=word if current_word==word: print ‘%s\t%s‘ % (current_word,current_count)
3.將其權限作出相應修改
chmod a+x /home/hadoop/wc/mapper.py chmod a+x /home/hadoop/wc/reducer.py
4.本機上測試運行代碼
5.查看運行結果
2. 用mapreduce 處理氣象數據集
編寫程序求每日最高最低氣溫,區間最高最低氣溫
- 氣象數據集下載地址為:ftp://ftp.ncdc.noaa.gov/pub/data/noaa
- 按學號後三位下載不同年份月份的數據(例如201506110136號同學,就下載2013年以6開頭的數據,看具體數據情況稍有變通)
wget -D --accept-regex=REGEX -p data -r -c ftp://ftp.ncdc.noaa.gov/pub/data/noaa/2013/6*
- 解壓數據集,並保存在文本文件中
zcat ftp.ncdc.noaa.gov/pub/data/noaa/2013/6*.gz >qxdatazwt.txt
- 對氣象數據格式進行解析
5.編寫map函數,reduce函數
- 將其權限作出相應修改
chmod a+x /home/hadoop/mapper.py chmod a+x /home/hadoop/wc/reducer.py
本機上測試運行代碼
放到HDFS上運行
將之前爬取的文本文件上傳到hdfs上
用Hadoop Streaming命令提交任務
查看運行結果
用Python編寫WordCount程序任務