Spark架構及執行機制

Spark執行架構包括叢集資源管理器（Cluster Manager）、執行作業任務的工作節點（Worker Node）、每個應用的任務控制節點（Driver）和每個工作節點上負責具體任務的執行程序（Executor）。其中，叢集資源管理器可以是Spark自帶的資源管理器，也可以是YARN或Mesos等資源管理框架。
與Hadoop MapReduce計算框架相比，Spark所採用的Executor有兩個優點：一是利用多執行緒來執行具體的任務（Hadoop MapReduce採用的是程序模型），減少任務的啟動開銷；二是Executor中有一個BlockManager儲存模組，會將記憶體和磁碟共同作為儲存裝置，當需要多輪迭代計算時，可以將中間結果儲存到這個儲存模組裡，下次需要時，就可以直接讀該儲存模組裡的資料，而不需要讀寫到HDFS等檔案系統裡，因而有效減少了IO開銷；或者在互動式查詢場景下，預先將表快取到該儲存系統上，從而可以提高讀寫IO效能。

Spark執行架構

總體而言，如上圖所示，在Spark中，一個應用（Application）由一個任務控制節點（Driver）和若干個作業（Job）構成，一個作業由多個階段（Stage）構成，一個階段由多個任務（Task）組成。當執行一個應用時，任務控制節點會向叢集管理器（Cluster Manager）申請資源，啟動Executor，並向Executor傳送應用程式程式碼和檔案，然後在Executor上執行任務，執行結束後，執行結果會返回給任務控制節點，或者寫到HDFS或者其他資料庫中。

Spark執行基本流程

Spark的基本執行流程如下：
（1）當一個Spark應用被提交時，首先需要為這個應用構建起基本的執行環境，即由任務控制節點（Driver）建立一個SparkContext，由SparkContext負責和資源管理器（Cluster Manager）的通訊以及進行資源的申請、任務的分配和監控等。SparkContext會向資源管理器註冊並申請執行Executor的資源；
（2）資源管理器為Executor分配資源，並啟動Executor程序，Executor執行情況將隨著“心跳”傳送到資源管理器上；
（3）SparkContext根據RDD的依賴關係構建DAG圖，DAG圖提交給DAG排程器（DAGScheduler）進行解析，將DAG圖分解成多個“階段”（每個階段都是一個任務集），並且計算出各個階段之間的依賴關係，然後把一個個“任務集”提交給底層的任務排程器（TaskScheduler）進行處理；Executor向SparkContext申請任務，任務排程器將任務分發給Executor執行，同時，SparkContext將應用程式程式碼發放給Executor；
（4）任務在Executor上執行，把執行結果反饋給任務排程器，然後反饋給DAG排程器，執行完畢後寫入資料並釋放所有資源。

總體而言，Spark執行架構具有以下特點：
（1）每個應用都有自己專屬的Executor程序，並且該程序在應用執行期間一直駐留。Executor程序以多執行緒的方式執行任務，減少了多程序任務頻繁的啟動開銷，使得任務執行變得非常高效和可靠；
（2）Spark執行過程與資源管理器無關，只要能夠獲取Executor程序並保持通訊即可；
（3）Executor上有一個BlockManager儲存模組，類似於鍵值儲存系統（把記憶體和磁碟共同作為儲存裝置），在處理迭代計算任務時，不需要把中間結果寫入到HDFS等檔案系統，而是直接放在這個儲存系統上，後續有需要時就可以直接讀取；在互動式查詢場景下，也可以把表提前快取到這個儲存系統上，提高讀寫IO效能；
（4）任務採用了資料本地性和推測執行等優化機制。資料本地性是儘量將計算移到資料所在的節點上進行，即“計算向資料靠攏”，因為移動計算比移動資料所佔的網路資源要少得多。而且，Spark採用了延時排程機制，可以在更大的程度上實現執行過程優化。比如，擁有資料的節點當前正被其他的任務佔用，那麼，在這種情況下是否需要將資料移動到其他的空閒節點呢？答案是不一定。因為，如果經過預測發現當前節點結束當前任務的時間要比移動資料的時間還要少，那麼，排程就會等待，直到當前節點可用。