Spark 是什麼？

Spark 是一種通用的大資料計算框架，正如傳統大資料技術 Hadoop 的 MapReduce、Hive 引擎，以及 Storm 流式實時計算引擎等。Spark 包含了大資料領域常見的各種計算框架：比如 Spark Core 用於離線計算，Spark SQL 用於互動式查詢，Spark Streaming 用於實時流式計算，Spark MLlib 用於機器學習，Spark GraphX 用於圖計算。

Spark 主要用於大資料的計算，而 Hadoop 以後主要用於大資料的儲存（比如 HDFS、Hive、HBase 等），以及資源排程（Yarn）。

Spark + Hadoop 的組合，是未來大資料領域最熱門的組合，也是最有前景的組合。

Hadoop 架構

Hadoop 包括 HDFS 儲存系統 和 MapReduce 計算框架 兩部分，Hive 是針對大資料利用 SQL 的查詢框架