第五章_Spark核心程式設計_SparkConf&SparkContext
阿新 • • 發佈:2022-06-06
/* * TODO 關於 SparkConf 的作用 * 1. spark的配置物件 用來初始化 Spark application 的配置資訊 * 2. 用 SparkConf.set("key","value") 的方式來注入配置資訊 * 3. 用 SparkConf物件 指定的配置資訊,優先順序是最高的(該物件的任何設定都會覆蓋預設配置和系統屬性) * SparkConf.set("key","value") > 外部配置資訊 > 系統預設設定 * 4. 引數 * 是否 載入系統配置 和 classpath的配置 作為當前應用的配置,true是 false否 * * * TODO 關於 SparkContext 的作用 * 1. Spark 功能的主要入口類 * 2. 一個 SparkContext物件 表示 spark到叢集的 連線物件 * 3. 可以用 SparkContext物件 在叢集上 建立RDD accumulators broadcast * 4. 每個JVM中 只能有一個活躍的 SparkContext物件,必須將現有物件 stop()才能建立新的 SparkContext物件 * * TODO 關於 日誌級別 的設定 * 方式1: 不設定,使用系統預設配置 * Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties * 方式2: 在工程 resources目錄下新增 log4j.properties * 內容可以參考 org/apache/spark/log4j-defaults.properties * 方式3: 用 spark環境物件SparkContext 來指定(優先順序是最高的) * SparkContext.setLogLevel("") * 日誌級別: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN * * TODO 關於 SparkUI * **/