hadoop相關日誌配置項
阿新 • • 發佈:2019-01-31
(1)Hadoop系統服務輸出的日誌
諸如NameNode、DataNode、ResourceManage等系統自帶的服務輸出來的日誌預設是存放在${HADOOP_HOME}/logs目錄下。
resourcemanager的日誌存放路徑可以配置在(在${HADOOP_HOME}/etc/hadoop/yarn-env.sh)中的YARN_LOG_DIR值
預設值:$HADOOP_YARN_HOME/logs
(2) yarn.nodemanager.log-dirs,存放在yarn-site,xml
引數解釋:日誌存放地址(可配置多個目錄)。
預設值:${yarn.log.dir}/userlogs
(3) yarn.nodemanager.local-dirs,存放在yarn-site,xml
引數解釋:中間結果存放位置,類似於1.0中的mapred.local.dir。注意,這個引數通常會配置多個目錄,已分攤磁碟IO負載。
預設值:${hadoop.tmp.dir}/nm-local-dir
(4)mapreduce.jobhistory.done-dir
引數解釋:MR JobHistory Server管理的日誌的存放位置。
預設值: /mr-history/done
(5) mapreduce.jobhistory.intermediate-done-dir
引數解釋:MapReduce作業產生的歷史日誌存放位置、主要存放的是當前正在執行的Hadoop任務的記錄相關資訊。
預設值: /mr-history/tmp