Spark屬性

Spark有很多的屬性，這些屬性可以根據實際業務場景來進行配置，使得應用程式能夠更快的、更有效的執行。

靜態配置Spark屬性

靜態配置屬性指的就是我們可以在程式碼中利用SparkCof中的set()方法來設定Spark的屬性，set()方法接受接受的鍵值對SparkConf.set(key,value)。具體的鍵值對是什麼，下文會有介紹。

 def main(args: Array[String]): Unit = {
    val sparkConf = new SparkConf().setMaster("local").setAppName("RDDTest")
    sparkConf.set("spark.executor.memory","10g")
    val sc = new SparkContext(sparkConf)
  }
 

動態配置Spark屬性

所謂的動態配置Spark屬性，其實就是我們在Driver端執行spark-submit的時候指定具體的Spark引數屬性。