1. 程式人生 > >一篇讓你看懂Spark任務執行各物件建立時機!

一篇讓你看懂Spark任務執行各物件建立時機!

1.SparkContext哪一端生成的?
Driver端

2.DAG是在哪一端被構建的?
Driver端

3.RDD是在哪一端生成的?
Driver端

4.廣播變數是在哪一端呼叫的方法進行廣播的?
Driver端

5.要廣播的資料應該在哪一端先建立好再廣播呢?
Driver端

6.呼叫RDD的運算元(Transformation和Action)是在哪一端呼叫的
Driver端

7.RDD在呼叫Transformation和Action時需要傳入一個函式,函式是在哪一端宣告和傳入的?
Driver端

6.RDD在呼叫Transformation和Action時需要傳入函式,請問傳入的函式是在哪一端執行了函式的業務邏輯?
Executor中的Task執行的

7.自定義的分割槽器這個類是在哪一端例項化的?
Driver端

8.分割槽器中的getParitition方法在哪一端呼叫的呢?
Executor中的Task中呼叫的

9.Task是在哪一端生成的呢?
Driver端

10.DAG是在哪一端構建好的並被切分成一到多個State的
Driver端

11.DAG是哪個類完成的切分Stage的功能?
DAGScheduler

12.DAGScheduler將切分好的Stage以什麼樣的形式給TaskScheduler
TaskSet

希望今天的分享給大家對Spark任務的執行帶來更好的理解
如有不對的地方,歡迎大家批評指正共同進步呦~