1. 程式人生 > 實用技巧 >Hadoop配置JobHistory

Hadoop配置JobHistory

1.修改/usr/local/hadoop/etc/hadoop/yarn-site.xml,新增如下程式碼

    <property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
    </property>   
    <!-- 配置日誌伺服器的地址,work節點使用 -->
    <property>
         <name>yarn.log.server.url</name>
         <value>http://
master1:19888/jobhistory/logs</value> </property> <!-- 配置日誌過期時間,單位秒 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>86400</value> </property>

2.修改/usr/local/hadoop/etc/hadoop/mapred-site.xml,新增如下程式碼

    <!--配置jobhistory的地址和web管理地址-->
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>master1:10020
</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master1:19888</value> </property>

3.將上面兩檔案修改同步到叢集中的所有機器的/usr/local/hadoop/etc/hadoop

4.在叢集中的任意一臺機器機動jobhistory

/usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver

5.啟動完之後,就可以通過http://master1:19888/訪問