什麼時候才能迴歸到看論文，寫感想的日子呀~剛剛交完房租的我血槽已空。看了師妹關於Spark報告的PPT，好懷念學生時代開組會的時光啊，雖然我已經離開學校不長不短兩個月，但我還是非常認真的翻閱了，並作為大自然的搬運工來搬運知識了。

Spark的執行模式

1、Local，本地執行，通過多執行緒來實現平行計算。
2、本地偽叢集執行模式，用單機模擬叢集，有多個程序。
3、Standalone，spark做資源排程，任務的排程和計算。部署繁瑣。

4、Yarn， Mesos，通用的統一資源管理機制，可以在上面執行多種計算框架。

著重介紹比較廣泛應用叢集管理器Yarn

YARN 是在 Hadoop 2.0中引入的叢集管理器，它可以讓多種資料處理框架執行在一個共享的資源池上，並且通常安裝在與 Hadoop 檔案系統（簡稱 HDFS）相同的物理節點上。

第一步是找到你的 Hadoop 的配置目錄，並把它設為環境變數HADOOP_CONF_DIR。這個目錄包含 yarn-site.xml 和其他配置檔案；如果你把 Hadoop 裝到 HADOOP_HOME 中，那麼這個目錄通常位於HADOOP_HOME/conf 中，否則可能位於系統目錄 /etc/hadoop/conf中。然後用如下方式提交你的應用：
export HADOOP_CONF_DIR="..." 
spark-submit --master yarn yourapp

有兩種將應用連線到叢集的模式：客戶端模式以及叢集模式。在客戶端模式下應用的驅動器程式執行在提交應用的機器上（比如你的膝上型電腦），而在叢集模式下，驅動器程式也執行在一個 YARN 容器內部。這就涉及了應用的兩種提交方式。

應用的提交方式

Driver執行在客戶端，即為客戶端模式

Driver執行在叢集上，是叢集中的某一個Worker，即叢集模式

執行流程

基於上圖我們將詳細介紹資源的排程和任務的分配，主要從Application的排程-Job排程-Stage排程來說明

Application的排程

多使用者需要共享叢集資源時，可以依據叢集管理者的配置，分配資源

YARN：配置每個應用分配的executor數量，每個executor佔用的的記憶體大小和CPU核數

Job的排程

stage：  DAGScheduler

Stage的排程

Stage的DAG以最後執行的 Stage為根進行廣度優先遍歷，遍歷到最開始執行的Stage執行。DAGScheduler中還維持了幾個重要的Key-Value集 ：

waitingStages中記錄仍有未執行的父Stage，防止過早執行；

runningStages中儲存正在執行的Stage，防止重複執行；