1.引言

      在使用Spark的時候，有時候我們會關注job的歷史日誌，但是在Spark中預設情況下，歷史日誌是關閉的，在本篇部落格中主要介紹一下如何啟動spark的歷史日誌。

      博主的環境為：

• 作業系統為Centos6.7
• Hadoop版本為2.6.1
• Hadoop安裝目錄為：/usr/local/hadoop
• HDFS的地址為：hdfs://localhost:9000
• Spark的版本為：2.0.0，且Spark是偽分佈安裝。

2. 啟動Spark歷史日誌

2.1 安裝Spark

2.2 修改配置檔案spark-defaults.conf

//將模板檔案修改為配置檔案
 

cp spark-defaults.conf.template spark-defaults.conf
//修改的配置資訊
spark.eventLog.enabled true 
//設定hdfs的目錄，需要和自己hadoop的目錄匹配
spark.eventLog.dir hdfs://localhost:9000/var/log/spark 
spark.eventLog.compress true

2.3 修改配置檔案spark-env.sh

//配置檔案最後加入
export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/localhost:9000/var/log/spark"
 

2.4 建立日誌目錄

      Spark不會自動建立日誌資料夾，因此需要我們自己建立

//首先進入hadoop的bin目錄
cd /usr/local/hadoop/bin
//建立資料夾命令
./hadoop fs -mkdir /var
./hadoop fs -mkdir /var/log
./hadoop fs -mkdir /var/log/spark

2.5 啟動spark歷史日誌web端

//進入spark的bin目錄
cd /usr/local/spark/sbin
//如果spark叢集正在啟動，首先停止叢集
./stop-all.sh
//重新啟動叢集
./start-all.sh
//啟動job歷史埠
 

./start-history-server.sh

2.6 瀏覽器檢視是否啟動成功