笨小蔥這周寫了一個讀取hbase中的資料到map中的很簡單的mr。然後放到cdh叢集中跑了一下，結果出現了一系列問題。其中最重要的一個問題竟然是，笨小蔥想去找我在mr程式中打的日誌，竟然苦苦找不到。所以這裡記錄下笨小蔥從頭到尾的一個過程。

1.打包執行mr

這裡笨小蔥執行 hadoop jar xxx.jar時，報了一個錯誤:

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration
	at WordCount.main(WordCount.java:43)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:606)
	at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
	at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
 

很明顯應該是沒有引入hbase的所需jar包。所以這裡設定環境變數時加入hbase架包：

   HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/hadoop/client/*:/opt/cloudera/parcels/CDH/lib/hbase/lib/*

[[email protected]~]# export HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/lib/hadoop/client/*:/opt/cloudera/parcels/CDH/lib/hbase/lib/*
[[email protected] xxx]$ hadoop jar /home/cctest/hadoopStudy.jar
16/09/09 20:58:21 WARN mapreduce.TableMapReduceUtil: The hbase-prefix-tree module jar containing PrefixTreeCodec is not present.  Continuing without it.
16/09/09 20:58:21 INFO client.RMProxy: Connecting to ResourceManager at xxxxxxxx/xxxxxxxx:8032
16/09/09 20:58:21 WARN mapreduce.JobResourceUploader: Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.
16/09/09 20:58:26 INFO zookeeper.RecoverableZooKeeper: Process identifier=hconnection-0x2eef906c connecting to ZooKeeper ensemble=localhost:2181
16/09/09 20:58:26 INFO zookeeper.ZooKeeper: Client environment:zookeeper.version=3.4.5-cdh5.7.0--1, built on 03/23/2016 18:30 GMT
 

好啦，這裡mr就跑完啦.現在笨小蔥想去看看日誌。查了一下cdh的檔案目錄，列出如下： . 相關目錄 ? /var/log/cloudera-scm-installer : 安裝日誌目錄。 ? /var/log/* : 相關日誌檔案（相關服務的及CM的）。 ? /usr/share/cmf/ : 程式安裝目錄。 ? /usr/lib64/cmf/ : Agent程式程式碼。 ? /var/lib/cloudera-scm-server-db/data : 內嵌資料庫目錄。 ? /usr/bin/postgres : 內嵌資料庫程式。 ? /etc/cloudera-scm-agent/ : agent的配置目錄。 ? /etc/cloudera-scm-server/ : server的配置目錄。 ? /opt/cloudera/parcels/ : Hadoop相關服務安裝目錄。 ? /opt/cloudera/parcel-repo/ : 下載的服務軟體包資料，資料格式為parcels。 ? /opt/cloudera/parcel-cache/ : 下載的服務軟體包快取資料。 ? /etc/hadoop/* : 客戶端配置檔案目錄。

想看下日誌，所以進入到/var/log目錄下:

[[email protected]]# ll /var/log/hadoop-yarn/
total 8984
-rw-r--r-- 1 yarn yarn   5447780 Sep  9 20:59 hadoop-cmf-yarn-NODEMANAGER-archive.cloudera.com.log.out
-rw-r--r-- 1 yarn yarn   3733829 Sep  9 20:59 hadoop-cmf-yarn-RESOURCEMANAGER-archive.cloudera.com.log.out
drwxr-xr-x 2 yarn hadoop    4096 Aug 30 09:13 stacks

這裡笨小蔥一開始以為程式中的日誌也會列印在這裡面(畢竟太笨了),找了一下發現壓根沒有。這下迷茫了，不知道去哪找了。於是就打算去clouder manager的webui中去看看。於是有了下面的查詢。

那麼問題來了，為什麼我剛才在伺服器的/var/log下沒有看到task中的日誌呢。難道在其他地方，經過一番查詢，發現了端倪。

yarn.nodemanager.remote-app-log-dir

查看了一下發現，這個屬性是配置MR的log位置。並且原來是在hdfs中儲存的。瞬間累覺不愛,於是趕快去看了一下這個屬性的值。

進入到hdfs中查看了一下，果然在裡面

[xxxxxx]$ hdfs dfs -ls /tmp/logs/hdfs/logs/application_1472623569489_0004
Found 3 items
-rw-r-----   3 hdfs hadoop      51456 2016-09-09 20:59 /tmp/logs/hdfs/logs/application_1472623569489_0004/archive.cloudera.com_8041
-rw-r-----   3 hdfs hadoop      71224 2016-09-09 20:59 /tmp/logs/hdfs/logs/application_1472623569489_0004/slave01_8041
-rw-r-----   3 hdfs hadoop       6007 2016-09-09 20:59 /tmp/logs/hdfs/logs/application_1472623569489_0004/slave02_8041

這裡三個檔案，分別是Maptask,redurceTask對應的log檔案，程式中的日誌也在這裡。

哎，不容易，終於找到他了。被自己笨哭。。。。。