1、Wordcount程式測試：進入spark-shell中

val text_file =sc.textFile("hdfs://hadoop1:8020/ai/README.txt")

val counts =text_file.flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey(_+_)

counts.saveAsTextFile("hdfs://hadoop1:8020/ai/wordcount")       注意：Wordcount為運算結果的目錄

Wordcount的簡寫方式：scala> valwordCount = rdd.flatMap(_.split(' ')).map((_,1)).reduceByKey(_+_)

counts.saveAsTextFile("hdfs://hadoop1:8020/ai/wordcount") 

檢視結果：scala> wordCount.collect

求總行數：val rows =sc.textFile("/ai/README.txt").count

求所有單詞的總和Wordsum:val workSum = sc.textFile("hdfs://hadoop1:8020/ai/README.txt").map(_.size).reduce(_+_)

求每行的單詞數：val rowSum =sc.textFile("/ai/README.txt").map(_.size)

求每行單詞最多的數量：val rowSum =sc.textFile("/ai/README.txt").map(_.size).reduce((a,b) =>if(a>b) a else b)

排序後儲存到HDFS上：scala> val wordCount =sc.textFile("/ai/README.txt").flatMap(_.split('')).map((_,1)).reduceByKey(_+_).map(x => (x._2, x._1)).sortByKey(false).map(x=> (x._2, x._1)).saveAsTextFile("/ai/wordSorted")

對生成的小檔案合併到本地：hadoopfs -getmerge /ai/wordSorted  /home/hadoop/wordCount.txt

執行結果如下：

[[email protected]

Found 2 items

-rw-r--r--   3 hadoopsupergroup          0 2015-05-11 20:55/ai/wordcount/_SUCCESS注意：此處為運算成功的標誌

-rw-r--r--   3 hadoopsupergroup       1574 2015-05-11 20:55 /ai/wordcount/part-00000注意：此處為運算的結果

2、rdd操作：常用例子

1）查詢一行中單詞最多的個數：sc.textFile("/ai/README.md").map(_.split("").size).reduce((a,b) => if (a>b) a else b)

       另一種寫法為匯入java函式：import java.lang.Math      sc.textFile("/ai/README.md").map(_.split("").size).reduce((a, b) => Math.max(a,b))

2）計算HDFS上 /ai/README.txt檔案的行數：scala> val count = sc.textFile("/ai/README.txt").count  等價於val count = sc.textFile("hdfs:///ai/README.txt").count 和val count = sc.textFile("hdfs://hadoop1:8020/ai/README.txt").count

3）檢視包含hadoop的記錄：sc.textFile("/ai/README.txt").filter(_.contains("hadoop")).collect