實驗四RDD程式設計初級實踐
1.spark-shell 互動式程式設計
（1） 該系總共有多少學生；
（2） 該系共開設來多少門課程；
（3） Tom 同學的總成績平均分是多少；
（4） 求每名同學的選修的課程門數；
（5） 該系 DataBase 課程共有多少人選修
（6） 各門課程的平均分是多少；
2.編寫獨立應用程式實現資料去重：
對於兩個輸入檔案 A 和 B，編寫 Spark 獨立應用程式，對兩個檔案進行合併，並剔除其 中重複的內容，得到一個新檔案 C
程式碼：
新建scala檔案
寫入一下程式碼
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import org.apache.spark.HashPartitioner
object RemDup {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("RemDup")
val sc = new SparkContext(conf)
val dataFile = "file:///home/charles/data"
val data = sc.textFile(dataFile,2)
val res = data.filter(_.trim().length>0).map(line=>(line.trim,"")).partitionBy(new HashPartitioner(1)).groupByKey().sortByKey().keys res.saveAsTextFile("result")
}
}
打包並提交執行
執行結果
3.編寫獨立應用程式實現求平均值問題
每個輸入檔案表示班級學生某個學科的成績，每行內容由兩個欄位組成，第一個是學生 名字，第二個是學生的成績；編寫 Spark 獨立應用程式求出所有學生的平均成績，並輸出到 一個新檔案中。
新建scala檔案avgscore
輸入程式碼
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
import org.apache.spark.HashPartitioner
object AvgScore {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("AvgScore")
val sc = new SparkContext(conf)
val dataFile = "file:///home/charles/data"
val data = sc.textFile(dataFile,3)
val res = data.filter(_.trim().length>0).map(line=>(line.split(" ")(0).trim(),line.split(" ")(1).trim().toInt)).partitionBy(new HashPartitioner(1)).groupByKey().map(x => {
var n = 0 var sum = 0.0 for(i <- x._2){
sum = sum + i n = n +1
} val avg = sum/n val format = f"$avg%1.2f".toDouble (x._1,format)
}) res.saveAsTextFile("result")
}
}
打包並執行：
結果