學習演練Hadoop 2.6有一段日子了。現在才大致搞清楚了系統裡面各個log的位置和功能，在這裡總結一下。網上的資料並不豐富，甚至Google出來的結果也不是很滿意，或許這個是太簡單了，牛人都不屑來寫。也可能是各個公司藏著掖著的東西。

Hadoop 2.6包含兩個大部分：DFS和Yarn，而Yarn裡面又包含在Resource Manager的JVM中執行的部分和在Node Manager裡面執行的JVM部分。所以整個系統（不考慮加裝ZooKeeper的HA的情況）的log是分別放在3個log裡面的。

1. 對於DFS的log，在Name Node和Data Node裡面，預設可以在${HADOOP_INSTALL}/logs裡面看到。這個是非DFS的檔案，直接可以通過Linux檔案系統看到。

2. 對於Yarn的log，在Resource Manager和Node Manager裡面，預設可以在${HADOOP_INSTALL}/logs裡面看到。這個也是非DFS的檔案，直接可以通過Linux檔案系統看到。

對於MapReduce任務的log，情況就比較的複雜了。在2.6裡面，task是按照application->container的層次來管理的，所以在Name Node機器上執行mapreduce程式的時候，在console裡面看到的log都可以通過在相應的data node/node manager裡面的${HADOOP_INSTALL}/logs/userlogs下面找到。這個部分也是非DFS檔案，直接可以通過Linux檔案系統看到。

這些log也可以通過Hadoop Web管理頁面看到，比較方便。

網路上搜來的資訊基本都是關於上面這些部分的。可對於一個開發人員而言，上面這些log對於除錯程式的幫助就不大了。Java程式設計師會經常要用System.out/err來輸出中間內容到standard output，而且工業界早就用logger來記錄系統狀態和幫助除錯了。那麼我們在mapreduce程式體裡面怎麼來得到這些log哪。

首先講講System.out的輸出，這個網路上的介紹還算詳細。基本來說在main方法裡面的部分都可以在console上輸出。這一點不管是在Eclipse裡面通過外掛連結DFS執行on MapReduce的時候，還是直接在namenode上跑jar包，都可以看的到。直接程式設計讀寫DFS的程式也能夠通過這個方法來看到中間結果和除錯程式。而上面也說了，因為這個task的部分是執行在resource manager的啟動的JVM裡面（這個部分不是很確定，也許是單獨啟動的一個JVM），所以System.out的輸出可以看到。而一旦程式進入Mapper和Reducer的部分，這個時候，任務是分發到datanode的機器裡面跑，那裡的JVM的輸出就不會再返回到task的JVM了，所以在Mapper和Reducer裡面的System.out輸出是無法看到的。

那麼這個時候怎麼來寫log哪?網路搜尋的結果基本給了3個方法：1. 用log4j來生成logger；2. 用apache common裡面的LogFactory生成logger；3. 用MultipleOutput來自己寫log輸出。

1和2本質是一樣的，只是呼叫現成的Logger類。3是要自己管理log檔案的生成和輸出，靈活但是很累。

現在最關鍵的問題來了。我用Log4j或者LogFactory的Logger輸出的log檔案在哪裡？搜了一天，基本講的都語焉不詳，特別是針對Hadoop 2.6的，沒有找到。綜合了幾個帖子，終於發現了問題所在。為了能看到Logger輸出的內容，需要做如下幾件事：

1. 在啟動Hadoop叢集的時候，除了start-yarn.sh和start-dfs.sh，還要啟動historyserver，命令是

 mr-jobhistory-daemon.sh start historyserver

 mr-jobhistory-daemon.sh命令是在${HADOOP_INSTALL}/sbin/目錄下面。啟動完了，用jps命令可以看到有JobHistoryServer的程序啟動。

啟動了HistoryServer後，就可以看到Tracking URL裡面的History了。

還能在Hadoop Web管理介面裡看到每個Job的歷史Map和Reduce任務，以及每個任務所在的datanode。

點選Maps和Reduces後面的數字link，就能看到每個任務執行的情況。

但是當去點選log的連結的時候，會碰到Aggregation function is not enabled錯誤。為了能看到每個Map和Reduce任務的Log，還必須在yarn-site.xml裡面配置aggregation為true。

  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>

然後將yarn-site.xml同步到所有的節點，在重啟叢集。這個時候再點選上面那個logs連結，就可以看到每個任務的log了，而Logger們輸出的內容也在裡面！！

到了這裡，就只剩下一個問題了。這個log檔案在哪裡？檢視yarn-site.xml後終於發現了MapReduce任務的log的位置。

    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/logs</value>
    <description>HDFS directory where the application logs are moved on application completion. Need to set appropriate permissions. Only applicable if log-aggregation is enabled. The default value is "/logs" or "/tmp/logs" </description>
  </property>

注意紅色字的部分，這裡清楚的指明瞭這個log是存放在HDFS檔案系統裡面的，不是放在Linux檔案系統裡面的。在hdfs://namenode/logs/hadoop/logs裡面，終於發現了每個任務對應的log資料夾。每個任務資料夾裡有兩個檔案。分別對應的Map任務和Reduce任務。

[[email protected] ~]$ hdfs dfs -ls hdfs://namenode/logs/hadoop/logs/application_1430285399789_0001
15/04/29 23:02:01 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 2 items
-rw-r-----   2 hadoop supergroup      58369 2015-04-29 13:32 hdfs://namenode/logs/hadoop/logs/application_1430285399789_0001/<strong><em>hostname</em></strong>_39575
-rw-r-----   2 hadoop supergroup     399834 2015-04-29 13:32 hdfs://namenode/logs/hadoop/logs/application_1430285399789_0001/<strong><em>hostname</em></strong>_54053

hostname部分是對應的datanode的hostname。

在Web頁面裡顯示的也就是從這兩個檔案裡讀取並排版的。自此每個log檔案的具體位置終於水落石出。

個人心得，有錯誤和不全面的地方歡迎拍磚。