1. 程式人生 > 其它 >第五章_Spark核心程式設計_SparkConf&SparkContext

第五章_Spark核心程式設計_SparkConf&SparkContext

/*
* TODO 關於 SparkConf 的作用
*   1. spark的配置物件 用來初始化 Spark application 的配置資訊
*   2. 用 SparkConf.set("key","value") 的方式來注入配置資訊
*   3. 用 SparkConf物件 指定的配置資訊,優先順序是最高的(該物件的任何設定都會覆蓋預設配置和系統屬性)
*         SparkConf.set("key","value") > 外部配置資訊 > 系統預設設定
*   4. 引數
*         是否 載入系統配置 和 classpath的配置 作為當前應用的配置,true是 false否
*
*
* TODO 關於 SparkContext 的作用
*   1. Spark 功能的主要入口類
*   2. 一個 SparkContext物件 表示 spark到叢集的 連線物件
*   3. 可以用 SparkContext物件 在叢集上 建立RDD accumulators broadcast
*   4. 每個JVM中 只能有一個活躍的 SparkContext物件,必須將現有物件 stop()才能建立新的 SparkContext物件
*
* TODO 關於 日誌級別 的設定
*   方式1: 不設定,使用系統預設配置
*       Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
*   方式2: 在工程 resources目錄下新增 log4j.properties
*       內容可以參考 org/apache/spark/log4j-defaults.properties
*   方式3: 用 spark環境物件SparkContext 來指定(優先順序是最高的)
*       SparkContext.setLogLevel("")
*       日誌級別: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN
*
* TODO 關於 SparkUI
*
* 
*/