啟動hdfs

啟動spark

準備資料

vi wordcount.txt

hello zeng
hello miao
hello gen
hello zeng
hello wen
hello biao
zeng miao gen
zeng wen biao
lu ting ting
zhang xiao zhu
chang sheng xiang qi lai
zhu ye su ai ni

上傳到hdfs

hdfs dfs -put wordcount.txt /

編寫程式碼

用scala語言，在spark-shell命令窗下

sc.textFile("hdfs://nbdo1:9000/wordcount.txt")

.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)

.saveAsTextFile("hdfs://nbdo1:9000/out")

執行結果

補充：

將執行結果儲存到一個檔案。點選閱讀擴充套件

程式碼：

sc.textFile("hdfs://nbdo1:9000/wordcount.txt")

.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_)

.coalesce(1,true).saveAsTextFile("hdfs://nbdo1:9000/out2")

執行結果

-------------

更多的Java，Android，大資料，J2EE，Python，資料庫，Linux，Java架構師，教程，視訊請訪問：