1. 程式人生 > >hadoop 3.x 配置歷史服務器

hadoop 3.x 配置歷史服務器

-s dport map 依次 count cin XML 3.x span

修改$HADOOP_HOME/etc/hadoop/mapred-site.xml,加入以下配置(修改主機名為你自己的主機或IP,盡量不要使用中文註釋)

 1 <!--history address-->
 2 <property>
 3         <name>mapreduce.jobhistory.address</name>
 4         <value>hadoop002:10020</value>
 5 </property>
 6 <!--history web address-->
 7 <property>
 8
<name>mapreduce.jobhistory.webapp.address</name> 9 <value>hadoop002:19888</value> 10 </property>

依次執行start-dfs.sh,start-yarn.sh後jps查看namenode,datanode等是否啟動,成功啟動後啟動history服務進程,執行mr-jobhistory-daemon.sh start historyserver,之後jps查看進程

(停止:mr-jobhistory-daemon.sh stop historyserver)

技術分享圖片

接下來執行MapReduce程序

hadoop jar /opt/module/hadoop-3.1.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar wordcount /usr/tele/hadoop/wcinput /usr/tele/hadoop/wcoutput

執行完畢後進入mapreduce管理界面(主機號/ip:8088),點擊history

技術分享圖片

如果無法連接,可以把防火墻關閉,或者修改/etc/sysconfig/iptables,開放我們上面配置的19888端口

-I INPUT -m state --state NEW -m tcp -p tcp --dport 19888 -j ACCEPT

技術分享圖片

之後重啟下防火墻服務sudo service iptables restart,此時就可以訪問了

技術分享圖片

hadoop 3.x 配置歷史服務器