spark RDD操作map與flatmap的區別
阿新 • • 發佈:2019-01-08
以前總是分不清楚spark中flatmap和map的區別,現在弄明白了,總結分享給大家,先看看flatmap和map的定義。
map()是將函式用於RDD中的每個元素,將返回值構成新的RDD。
flatmap()是將函式應用於RDD中的每個元素,將返回的迭代器的所有內容構成新的RDD
有些拗口,看看例子就明白了。
val rdd = sc.parallelize(List("coffee panda","happy panda","happiest panda party"))
輸入
rdd.map(x=>x).collect
結果
res9: Array[String] = Array (coffee panda, happy panda, happiest panda party)
輸入
rdd.flatMap(x=>x.split(" ")).collect
結果
res8: Array[String] = Array(coffee, panda, happy, panda, happiest, panda, party)
flatMap說明白就是先map然後再flat,再來看個例子
val rdd1 = sc.parallelize(List(1,2,3,3))
scala> rdd1.map(x=>x+1).collect
res10: Array[Int] = Array (2, 3, 4, 4)
scala> rdd1.flatMap(x=>x.to(3)).collect
res11: Array[Int] = Array(1, 2, 3, 2, 3, 3, 3)