計算引擎 SPARK 介紹
SPARK
Apache Spark 是專為大規模資料處理而設計的快速通用的計算引擎，Spark是加州大學伯克利分校的AMP實驗室開源的類hadoop MapReducec的通用並行框架，Spark具有 Hadoop MapReduce具有的優點，但不同於MapReduce的是——job中間輸出可以儲存在記憶體中，從而不在需要讀寫HDFS，因此Spark更加適合機器學習和資料探勘等需要迭代的MapReduce的演算法。
Spark是一種與Hadoop相似的開源叢集計算環境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現得更加優越，換句話說，Spark 啟用了記憶體分佈資料集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。
Spark 是在 Scala 語言中實現的，它將 Scala 用作其應用程式框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密整合，其中的 Scala 可以像操作本地集合物件一樣輕鬆地操作分散式資料集。
儘管建立 Spark 是為了支援分散式資料集上的迭代作業，但是實際上它是對 Hadoop 的補充，可以在 Hadoop 檔案系統中並行執行。通過名為 Mesos 的第三方叢集框架可以支援此行為。Spark 由加州大學伯克利分校 AMP 實驗室 (Algorithms, Machines, and People Lab) 開發，可用來構建大型的、低延遲的資料分析應用程式。
Spark 主要有三個特點：
首先，高階 API 剝離了對叢集本身的關注，Spark 應用開發者可以專注於應用所要做的計算本身。
其次，Spark 很快，支援互動式計算和複雜演算法。
最後，Spark 是一個通用引擎，可用它來完成各種各樣的運算，包括 SQL 查詢、文字處理、機器學習等，而在 Spark 出現之前，我們一般需要學習各種各樣的引擎來分別處理這些需求。
效能特點
-
更快的速度
記憶體計算下，Spark 比 Hadoop 快100倍。
-
易用性
Spark 提供了80多個高階運算子。
-
通用性
Spark 提供了大量的庫，包括SQL、DataFrames、MLlib、GraphX、Spark Streaming。 開發者可以在同一個應用程式中無縫組合使用這些庫。
-
支援多種資源管理器
Spark 支援 Hadoop YARN，Apache Mesos，及其自帶的獨立叢集管理器
-
Spark生態系統
-
Shark：Shark基本上就是在Spark的框架基礎上提供和Hive一樣的HiveQL命令介面，為了最大程度的保持和Hive的相容性，Spark使用了Hive的API來實現query Parsing和 Logic Plan generation，最後的PhysicalPlan execution階段用Spark代替HadoopMapReduce。通過配置Shark引數，Shark可以自動在記憶體中快取特定的RDD，實現資料重用，進而加快特定資料集的檢索。同時，Shark通過UDF使用者自定義函式實現特定的資料分析學習演算法，使得SQL資料查詢和運算分析能結合在一起，最大化RDD的重複使用。
-
SparkR：SparkR是一個為R提供了輕量級的Spark前端的R包。 SparkR提供了一個分散式的data frame資料結構，解決了 R中的data frame只能在單機中使用的瓶頸，它和R中的data frame 一樣支援許多操作，比如select,filter,aggregate等等。（類似dplyr包中的功能）這很好的解決了R的大資料級瓶頸問題。 SparkR也支援分散式的機器學習演算法，比如使用MLib機器學習庫。SparkR為Spark引入了R語言社群的活力，吸引了大量的資料科學家開始在Spark平臺上直接開始資料分析之旅。
基本原理
Spark Streaming：構建在Spark上處理Stream資料的框架，基本的原理是將Stream資料分成小的時間片斷（幾秒），以類似batch批量處理的方式來處理這小部分資料。Spark Streaming構建在Spark上，一方面是因為Spark的低延遲執行引擎（100ms+），雖然比不上專門的流式資料處理軟體，也可以用於實時計算，另一方面相比基於Record的其它處理框架（如Storm），一部分窄依賴的RDD資料集可以從源資料重新計算達到容錯處理目的。此外小批量處理的方式使得它可以同時相容批量和實時資料處理的邏輯和演算法。方便了一些需要歷史資料和實時資料聯合分析的特定應用場合。
計算方法
-
Bagel: Pregel on Spark，可以用Spark進行圖計算，這是個非常有用的小專案。Bagel自帶了一個例子，實現了Google的PageRank演算法。
-
當下Spark已不止步於實時計算，目標直指通用大資料處理平臺，而終止Shark，開啟SparkSQL或許已經初見端倪。
-
近幾年來，大資料機器學習和資料探勘的並行化演算法研究成為大資料領域一個較為重要的研究熱點。早幾年國內外研究者和業界比較關注的是在 Hadoop 平臺上的並行化演算法設計。然而， HadoopMapReduce 平臺由於網路和磁碟讀寫開銷大，難以高效地實現需要大量迭代計算的機器學習並行化演算法。隨著 UC Berkeley AMPLab 推出的新一代大資料平臺 Spark 系統的出現和逐步發展成熟，近年來國內外開始關注在 Spark 平臺上如何實現各種機器學習和資料探勘並行化演算法設計。為了方便一般應用領域的資料分析人員使用所熟悉的 R 語言在 Spark 平臺上完成資料分析，Spark 提供了一個稱為 SparkR 的程式設計介面，使得一般應用領域的資料分析人員可以在 R 語言的環境裡方便地使用 Spark 的並行化程式設計介面和強大計算能力。