Hadoop配置JobHistory
阿新 • • 發佈:2020-11-30
1.修改/usr/local/hadoop/etc/hadoop/yarn-site.xml,新增如下程式碼
<property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 配置日誌伺服器的地址,work節點使用 --> <property> <name>yarn.log.server.url</name> <value>http://master1:19888/jobhistory/logs</value> </property> <!-- 配置日誌過期時間,單位秒 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>86400</value> </property>
2.修改/usr/local/hadoop/etc/hadoop/mapred-site.xml,新增如下程式碼
<!--配置jobhistory的地址和web管理地址--> <property> <name>mapreduce.jobhistory.address</name> <value>master1:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>master1:19888</value> </property>
3.將上面兩檔案修改同步到叢集中的所有機器的/usr/local/hadoop/etc/hadoop
4.在叢集中的任意一臺機器機動jobhistory
/usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver
5.啟動完之後,就可以通過http://master1:19888/訪問