Spark叢集-historyserver
阿新 • • 發佈：2018-12-22
目錄
簡介
在上一篇部落格中，我們提到了如何在yarn叢集中開啟historyserver服務，本次我們在spark叢集中開啟historyserver服務。
配置
高可用（HA）Spark叢集
在$SPARK_HOME/conf/目錄下，複製一份spark-defaults.conf.template，並改名為spark-defaults.conf。
cp spark-defaults.conf.template spark-defaults.conf
配置資訊
spark.eventLog.enabled true
spark.eventLog.dir hdfs://mycluster/spark-directory
spark.history.fs.logDirectory hdfs://mycluster/spark-directory
是檔案存放位置，可以是本地位置，也可以是HDFS上的位置，建議是存放在HDFS上。檔案存放在HDFS上，目錄一定要存在。
| name | 描述 |
|---|---|
| spark.eventLog.enabled | 在啟動應用程式之前設定為true，將Spark配置為記錄Spark事件，該事件將UI中顯示的資訊編碼為持久儲存 |
| spark.eventLog.dir | 記錄Spark事件的基本目錄 |
| spark.history.fs.logDirectory | 包含要由歷史記錄伺服器載入的應用程式事件日誌的目錄 |
開啟
1.開啟historyserver程序
注意：需要將hadoop下的core-site.xml和hdfs-site.xml檔案複製到conf目錄下
start-history-server.sh
會出現HistoryServer程序
2.檢視歷史資訊
先在spark叢集中提交一個任務，任務成功後，可以在頁面http://node01:18080/中看到歷史任務的日誌資訊。
