主要區別：

map是對rdd中的每一個元素進行操作；

mapPartitions則是對rdd中的每個分割槽的迭代器進行操作

MapPartitions的優點：

如果是普通的map，比如一個partition中有1萬條資料。ok，那麼你的function要執行和計算1萬次。

使用MapPartitions操作之後，一個task僅僅會執行一次function，function一次接收所有
的partition資料。只要執行一次就可以了，效能比較高。如果在map過程中需要頻繁建立額外的物件(例如將rdd中的資料通過jdbc寫入資料庫,map需要為每個元素建立一個連結而mapPartition為每個partition建立一個連結),則mapPartitions效率比map高的多。

SparkSql或DataFrame預設會對程式進行mapPartition的優化。

MapPartitions的缺點：

如果是普通的map操作，一次function的執行就處理一條資料；那麼如果記憶體不夠用的情況下， 比如處理了1千條資料了，那麼這個時候記憶體不夠了，那麼就可以將已經處理完的1千條資料從記憶體裡面垃圾回收掉，或者用其他方法，騰出空間來吧。
所以說普通的map操作通常不會導致記憶體的OOM異常。 

但是MapPartitions操作，對於大量資料來說，比如甚至一個partition，100萬資料，
一次傳入一個function以後，那麼可能一下子記憶體不夠，但是又沒有辦法去騰出記憶體空間來，可能就OOM，記憶體溢位。

Demo

實現將每個數字變成原來的2倍的功能

def main(args: Array[String]): Unit = {

  var conf = new SparkConf().setMaster("local[*]").setAppName("partitions")
  var sc   = new SparkContext(conf)

  println("1.map--------------------------------")
  var aa   = sc.parallelize(1 to 9, 3)
  def doubleMap(a:Int) : (Int, Int) = { (a, a*2) }
  val aa_res = aa.map(doubleMap)
  println(aa.getNumPartitions)
  println(aa_res.collect().mkString)

  
  println("2.mapPartitions-------------------")
  val bb = sc.parallelize(1 to 9, 3)
  def doubleMapPartition( iter : Iterator[Int]) : Iterator[ (Int, Int) ] = {
    var res = List[(Int,Int)]()
    while (iter.hasNext){
      val cur = iter.next()
      res .::= (cur, cur*2)
    }
    res.iterator
  }
  val bb_res = bb.mapPartitions(doubleMapPartition)
  println(bb_res.collect().mkString)


  println("3.mapPartitions-------------------")
  var cc = sc.makeRDD(1 to 5, 2)
  var cc_ref = cc.mapPartitions( x => {
    var result = List[Int]()
    var i = 0
    while(x.hasNext){
      val cur = x.next()
      result.::= (cur*2)
    }
    result.iterator
  })
  cc_ref.foreach(println)
}
 

輸出結果：

1.map--------------------------------
3
(1,2)(2,4)(3,6)(4,8)(5,10)(6,12)(7,14)(8,16)(9,18)

2.mapPartitions-------------------
(3,6)(2,4)(1,2)(6,12)(5,10)(4,8)(9,18)(8,16)(7,14)

3.mapPartitions-------------------
4
2
8
10
6