目錄

• 簡介
• 配置
• 開啟

簡介

    我們經常會向yarn叢集上提交任務，但是任務執行完後，我們就不能再檢視log檔案了。此時我們可以開啟historyserver，實現yarn叢集上歷史任務的儲存。

配置

非高可用（HA）模式的配置

1.修改%HADOOOP_HOME/etc/hadoop/yarn-site.xml檔案

<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
 <property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>2592000</value>
</property>
<property>
	<name>yarn.log.server.url</name>
	<value>http://node01:19888/jobhistory/logs</value>
</property>
<property>
	<name>yarn.nodemanager.remote-app-log-dir</name>
	<value>hdfs://node01:9000/user/hpe/yarn-logs/</value>
</property>
 

yarn.nodemanager.remote-app-log-dir是檔案存放位置，可以是本地位置，也可以是HDFS上的位置，建議是存放在HDFS上。檔案存放在HDFS上，目錄一定要存在。

高可用（HA）模式的配置

<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>2592000</value>
</property>
<property>
	<name>yarn.log.server.url</name>
	<value>http://node01:19888/jobhistory/logs</value>
</property>
<property>
	<name>yarn.nodemanager.remote-app-log-dir</name>
	<value>hdfs://mycluster/user/hpe/yarn-logs/</value>
</property>
 

mycluster是在hdfs-site.xml中配置的dfs.nameservices的值。注意：高可用模式後面不要加埠號了。

開啟

1.重啟yarn叢集

#先關閉yarn叢集
stop-yarn.sh
start-yarn.sh

2.開啟historyserver

mr-jobhistory-daemon.sh start historyserver

3.檢視程序
    jps可以看到JobHistoryServer程序。
然後就可以自己嘗試提交任務了。任務結束後去頁面http://node01:8088檢視歷史任務。

如果能夠看到這些日誌，那麼historyserver服務就開啟成功了。