1.實戰解析Spark執行原理
互動式查詢（shell，sql）
批處理（機器學習，圖計算）
首先，spark是基於記憶體的分散式高效計算框架，採用一棧式管理機制，同時支援流處理，實時互動式出，批處理三種方式，Spark特別支援迭代式計算，因此，他對機器學習，圖計算具有較強的支援，為此他提供了機器學習和圖計算介面。
（1）分散式：Distributed Computation
分散式多臺機器執行 特徵：
整個Spark有個提交程式的客戶端，提交給叢集，叢集中中有很多臺機器，作業執行在分散式節點上的，Spark程式提交到叢集執行，節點一般處理一部分資料，分散式作並行化，

客戶端->叢集節點
圖書館管理員查詢圖書，館長Cluster manager，1000個人，分散式計算，每個書架總數多少，分散式用到平行計算

先有叢集資源管理服務(Cluster Manager)和執行作業任務的結點(Worker Node)，然後就是每個應用的任務控制結點Driver和每個機器節點上有具體任務的執行程序(Executor)；Executor有二個優點：一個是多執行緒來執行具體的任務，而不是像MR那樣採用程序模型，減少了任務的啟動開稍。二個是Executor上會有一個BlockManager儲存模組，類似於KV系統(記憶體和磁碟共同作為儲存裝置)，當需要迭代多輪時，可以將中間過程的資料先放到這個儲存系統上，下次需要時直接讀該儲存上資料，而不需要讀寫到hdfs等相關的檔案系統裡，或者在互動式查詢場景下，事先將表Cache到該儲存系統上，提高讀寫IO效能。另外Spark在做Shuffle時，在Groupby，Join等場景下去掉了不必要的Sort操作，相比於MapReduce只有Map和Reduce二種模式，Spark還提供了更加豐富全面的運算操作如filter,groupby,join等。
（2）基於記憶體

（3） 擅長迭代式計算，是Spark的真正精髓
第一個階段計算-》第二個階段計算-》第三個階段計算
計算之後可以把結果移到另一臺機器——shuffle，從一個節點移到另一個節點。
Hadoop Map+Reduce兩階段（每次都要讀寫磁碟）
Spark可以在第一個階段後還有很多階段（迭代式）更加靈活（每次計算結果優先考慮放記憶體，下個階段可以讀記憶體中資料）
Spark排程器DAG Schedule Lineage

為什麼還是很多公司使用Java語言開發Spark？
1. 人才問題
2. 整合更加容易，J2EE做前端程式的很多
3. 維護更加容易

Spark SQL只能取代Hive的計算引擎，不能取代Hive的資料儲存
在driver上驅動程式執行，執行在worker上
處理資料來源：HDFS、HBase、Hive、DB、S3（Amazon S3,全名為亞馬遜簡易儲存服務(Amazon Simple Storage Service),由亞馬遜公司,利用他們的亞馬遜網路服務系統所提供的網路線上儲存服務）
處理資料輸出：HDFS、HBase、Hive、DB、S3，或返回driver（也就是程式本身）

2.RDD解密
通用的分散式彈性資料集
RDD是Spark的核心
RDD代表要處理的資料，處理的時候是分散式的
（1）一系列分片，在節點中儲存，記憶體中，記憶體中放不下資料，將一部分資料放在磁碟上，自動在記憶體和磁碟中切換（彈性之一）
（2）第900個出錯，一共1000個任務，可以從第900個重新計算，無需從頭開始進行計算，提高錯誤恢復速度
（3）Task1000個計算步驟，第900個進行恢復，失敗3-5次，預設4次
（4）Task失敗，整個階段失敗，再次提交Stage，1000000-5個不會提交，只提交失敗的5個Task（預設3次）
彈性之一：自動的進行記憶體和磁碟資料儲存的切換
彈性之二：基於Lineage的高校容錯
彈性之三：Task如果失敗會自動進行特定次數的重試
彈性之四：Stage如果失敗會自動進行特定次數的重試

快取時機：
1.計算任務特別耗時
2.計算鏈條很長（計算代價）1000個，第900個恢復
3.Shuffle之後，進行快取，失敗之後，不需要進行重新Shuffle（從其他地方抽取資料）
4.CheckPoint把資料整個放入磁碟，CheckPoint之前步驟無需重新計算

RDD是一系列資料分片，資料分片分佈在不同機器的不同節點上，按partition進行管理，partition就是一個數據集合 RDD包含函式的計算
最常用的RDD在Hadoop上
啟動檔案系統

啟動Spark



叢集唯一的介面：SparkContext ，SparkContext是一切工作都要經過的地方，SparkContext建立RDD

自動獲取，是本地還是叢集

spark一切操作皆RDD，每次操作都會產生RDD

data.textFile
是lazy的，transformation，不執行

data.count
是action，所以會執行

hdfs分片和spark rdd的分割槽有什麼關係？
spark讀取資料時，RDD相當於HDFS的一個Block，Partion size=Block Size(128M)最後一條記錄跨兩個Block，128M左右

分割槽，可以進行hash，Range等等，不同分割槽策略

Reduce後進行shuffle

傳入HDFS

Any shuffle後的資料
Process _LOCAL

Cloudera Manager 中Spark不是最新版本的，而且不能手動更新，（開發商提供，不推薦），不推薦使用（懶人）
Spark+Tachyon+HDFS，將來是黃金組合