【一】Hadoop版本演進過程

           由於Hadoop1.X 以前版本在 MapReduce 基本構架的設計上存在作業主控節點(JobTracker)單點瓶頸、作業執行延遲過長、程式設計框架不靈活等較多的缺陷和不足,2011 年 10 月,Hadoop 推出了基於新一代構架的 Hadoop0.23.0 測試版,該版本系列最終演化 為Hadoop2.0 版 本, 即 新 一 代 的 Hadoop 系 統 YARN。2013 年 10 月 YARN 已經發展出 Hadoop2.2.0 穩定版。

【二】何為平行計算框架Mapreduce？

                  MapReduce 作為一個平行計算框架,它提供了一個包含 Map 和 Reduce 兩階段的並行處理模型和過程,提供了一個並行化程式設計模型和介面,讓程式設計師可以方便快速地編寫出大資料並行處理程式。

【三】何為Spark？

            Spark 是基於 map reduce 演算法實現的分散式計算框架,但不同的是 Spark 的中間輸出和結果輸出可以儲存在記憶體中,從而不再需要讀寫 HDFS,因此 Spark 能更好地用於資料探勘與機器學習等需要迭代的 mapreduce 的演算法中。 Spark 作為一套用 scala 寫成的分散式記憶體計算系統,很好地結合了分散式系統和函式式語言。Spark 的獨門祕籍便是“打造結構上一體化、功能上多元化的高效資料流水線。”

【四】Spark相比於Hadoop所具有的優勢？

            快速：基於 Spark 記憶體的計算比 Hadoop MapReduce 快 100 倍以上,基於磁碟的計算也要快10 倍以上。

            易用：提供多語言(包括 scala,java,python)API,能夠快速實現應用,相比 MapReduce 有更簡潔的程式碼,安裝部署也無需複雜的配置。使用 API 可以輕鬆地構建分散式應用程式,當然也可以使用 Scala 和 Python 指令碼進行互動式程式設計。
            通用：提供了一個強大的技術棧,包括查詢語言 Spark SQL, 機器學習工具 MLlib,圖計算工具 GraphX,實時流處理工具 Spark Streaming,在同一個應用程式可以把這些框架進行無縫的連線使用,而 Hadoop 的技術棧則相對獨立也較為複雜,各個框架都是獨立的系統,給整合帶來很大的複雜性和不確定性,而 Spark 目的在於構建一個結構上一體化、功
能上多元化高效資料流水線技術棧。

            整合Hadoop：Spark 可以執行在第二代 Hadoop 叢集管理 Yarn 上,這使得 Spark 可以讀取Hadoop 任何資料,如果你已經有第二代 Hadoop 叢集,那麼你無需安裝則可以直接執行Spark,Spark 很容易執行在 standalone 或者 EC2 或者 Mesos 上。它能讀取 HDFS, HBase,Cassandra 以及任何 Hadoop 資料來源。

參考資料：【Spark專刊】Spark最佳學習路徑（作者：黃忠）