1. Spark執行基本流程

1. 構建Spark Application的執行環境（啟動SparkContext），SparkContext向資源管理器（可以是Standalone、Mesos或YARN）註冊並申請執行Executor資源；
2. 資源管理器分配Executor資源並啟動Executor，Executor執行情況將隨著心跳傳送到資源管理器上；
3. SparkContext構建成DAG圖，將DAG圖分解成Stage，並把Taskset傳送給Task Scheduler。Executor向SparkContext申請Task，Task Scheduler將Task發放給Executor運行同時SparkContext將應用程式程式碼發放給Executor。
4. Task在Executor上執行，執行完畢釋放所有資源

2. Spark執行架構特點

• 每個Application獲取專屬的executor程序，該程序在Application期間一直駐留，並以多執行緒方式執行tasks。
• Spark任務與資源管理器無關，只要能夠獲取executor程序，並能保持相互通訊就可以。
• 提交SparkContext的Client應該靠近Worker節點（執行Executor的節點)，最好是在同一個Rack裡，因為Spark程式執行過程中SparkContext和Executor之間有大量的資訊交換；如果想在遠端叢集中執行，最好使用RPC將SparkContext提交給叢集，不要遠離Worker執行SparkContext。
• Task採用了資料本地性和推測執行的優化機制。

Spark 任務排程

1. 任務排程流程圖

各個RDD之間存在著依賴關係，這些依賴關係就形成有向無環圖DAG，DAGScheduler對這些依賴關係形成的DAG進行Stage劃分，劃分的規則很簡單，從後往前回溯，遇到窄依賴加入本stage，遇見寬依賴進行Stage切分。完成了Stage的劃分。DAGScheduler基於每個Stage生成TaskSet,並將TaskSet提交給TaskScheduler。TaskScheduler 負責具體的task排程,最後在Worker節點上啟動task。

2. DAGScheduler

• DAGScheduler對DAG有向無環圖進行Stage劃分。
• 記錄哪個RDD或者 Stage 輸出被物化（快取），通常在一個複雜的shuffle之後，通常物化一下(cache、persist)，方便之後的計算。
• 重新提交shuffle輸出丟失的stage（stage內部計算出錯）給TaskScheduler
• 將 Taskset 傳給底層排程器 
  • – spark-cluster TaskScheduler
  • – yarn-cluster YarnClusterScheduler
  • – yarn-client YarnClientClusterScheduler

3. TaskScheduler

• 為每一個TaskSet構建一個TaskSetManager 例項管理這個TaskSet 的生命週期
• 資料本地性決定每個Task最佳位置
• 提交 taskset( 一組task) 到叢集執行並監控
• 推測執行，碰到計算緩慢任務需要放到別的節點上重試
• 重新提交Shuffle輸出丟失的Stage給DAGScheduler