一眼看懂map和flatmap的區別
阿新 • • 發佈:2021-07-07
一眼看懂map和flatmap的區別
map的作用很容易理解就是對rdd之中的元素進行逐一進行函式操作對映為另外一個rdd。
flatMap的操作是將函式應用於rdd之中的每一個元素,將返回的迭代器的所有內容構成新的rdd。通常用來切分單詞。
Spark 中 map函式會對每一條輸入進行指定的操作,然後為每一條輸入返回一個物件。 而flatMap函式則是兩個操作的集合——正是“先對映後扁平化”:
操作1:同map函式一樣:對每一條輸入進行指定的操作,然後為每一條輸入返回一個物件
操作2:最後將所有物件合併為一個物件
object fla_map {<!-- --> def main(args: Array[String]): Unit = {<!-- --> val rdd1= List(List("A","B"),List("C","D")) rdd1.map( i => println(i)) println(rdd1) println("----------------------") val strings = rdd1.flatMap(f => f) println(strings) strings.foreach( i => println(i)) } }