1. 程式人生 > >Hadoop日誌聚合和jobhistoryserver配置

Hadoop日誌聚合和jobhistoryserver配置

一、前言

安裝了hadoop-2.7.3叢集,登陸YARN WEB介面,發現下圖mapreduce應用UI入口都無法使用,現記錄下處理方案
這裡寫圖片描述

二、處理方案

1.yarn-site.xml配置yarn.resourcemanager.webapp.address,如果沒配置ApplicationMaster入口無法使用

 <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>rmhost:8088</value>
 </property
>

2.mapred-site.xml配置jobhistoryserver,沒配置History入口無法使用

<property>
<name>mapreduce.jobhistory.address</name>
<value>rmhost:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>rmhost:19888</value>
</property> <property> <name>mapreduce.jobhistory.intermediate-done-dir</name> <value>/mr-history/tmp</value> </property> <property> <name>mapreduce.jobhistory.done-dir</name> <value>/mr-history/done</value> </property>

注意:jobhistoryserver需單獨啟動

sbin/mr-jobhistory-daemon.sh start historyserver

3.yarn-site.xml配置日誌聚合,沒配置History入口的map、reduce、applicationMaster日誌無法檢視

 <!-- 開啟日誌聚合 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日誌聚合目錄 -->
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/user/container/logs</value>
</property> 

這裡寫圖片描述

這裡寫圖片描述