Mapreduce打印調試輸出
阿新 • • 發佈：2017-09-22
分享 oop 端口 通過 ons nag 點擊 led nod
Mapreduce打印調試內容：
一、啟動JobHistoryServer
mr-jobhistory-daemon.sh start historyserver
[[email protected] sbin]$ jps 3165 NodeManager 2580 NameNode 2440 QuorumPeerMain 3208 Master 2682 DataNode 3548 HMaster 3045 ResourceManager 2962 DFSZKFailoverController 8038 JobHistoryServer
通過jps查看JobHistoryServer進程存在，啟動成功。
在8088端口，查看作業，點擊History:
點擊logs:
提示：
接下來修改配置
二、修改yarn配置文件 yarn-site.xml
<property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>
重啟hadoop
提示不可用，稍後再試。
之後又報了一個：Failed while trying to construct the redirect url to the log server. Log Server url may not be configured錯誤。
配置log server url 在yarn-site.xml
設置訪問jobhistroy的url
<property> <name>yarn.log.server.url</name> <value>http://node11:19888/jobhistory/logs/</value> </property>
在程序中打印日誌，可以通過history查詢。
註意：
由於集群job會分配到不同的節點上運行，點擊history的時候，默認會跳到相應節點的地址
如上圖，我點擊history,就跳轉到 http://node13:19888/jobhistory/job/job_1506003477416_0002
需要手動修改主機的名字http://node11:19888/jobhistory/job/job_1506003477416_0002進行查看
紅色部分為log4j的日誌；
藍色部分為System.out.println的信息。
Mapreduce打印調試輸出