MapReduce存在的問題

1. MapReduce框架侷限性

　　1）僅支援Map和Reduce兩種操作

　　2）處理效率低效。

　　　　a）Map中間結果寫磁碟，Reduce寫HDFS，多個MR之間通過HDFS交換資料; 任務排程和啟動開銷大;

　　　　b）無法充分利用記憶體

　　　　c）Map端和Reduce端均需要排序

　　3）不適合迭代計算(如機器學習、圖計算等)，互動式處理(資料探勘) 和流式處理(點選日誌分析)

2. MapReduce程式設計不夠靈活

　　1）嘗試scala函數語言程式設計語言

3. 主要用於hue或者支援hive sql 的表/檢視建立、清空、刪除，資料的查詢，表結構的設定與檢視。

Spark

1. 高效(比MapReduce快10~100倍)

　　1）記憶體計算引擎，提供Cache機制來支援需要反覆迭代計算或者多次資料共享，減少資料讀取的IO開銷

　　2）DAG引擎，減少多次計算之間中間結果寫到HDFS的開銷

　　3）使用多執行緒池模型來減少task啟動開稍，shuffle過程中避免 不必要的sort操作以及減少磁碟IO操作

2. 易用

　　1）提供了豐富的API，支援Java，Scala，Python和R四種語言

　　2）程式碼量比MapReduce少2~5倍

3. 與Hadoop整合 讀寫HDFS/Hbase 與YARN整合