hbase出現的問題：1、Hbase叢集啟動不了。regionserver.HRegionServer: error telling master we are upcom.google.protobuf.ServiceException: java.io.IOException: Call to user253166468785736-bigdata-master/172.30.24.7:16000 failed on local exception: org.apache.hadoop.hbase.ipc.CallTimeoutException: Call id=0, waitTime=10001, operationTimeout=10000 expired.

解決方法

檢查/etc/hosts檔案,如下文,產生此問題的原因由hadoop116引起:

127.0.0.1 hadoop116 localhost.localdomain localhost4 localhost4.localdomain4

改成如下內容後重啟叢集,問題解決

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

此問題在stackoverflow中有這樣的描述: check your /etc/hosts file,if there is something like

127.0.0.1 localhost yourhost

change it to

127.0.0.1 localhost 192.168.1.1 yourhost

resourceManager 上檢視nodemanager 上的執行日誌在sbin 下啟動 mr_jobhistorysbin/mr-jobhistory-daemon.sh start historyserver./yarn-daemon.sh start timelineserver即可在web頁面檢視mr任務的歷史程序，jps檢視 多了一個程序。Yarn 日誌聚集功能（Aggregation）應用執行完成以後，將日誌資訊上傳到Hdfs檔案系統在hdfs相應的檔案路徑下會看到相關的log路徑在yarn-site.xml中配置相關引數yarn.log-aggregation-enable（日誌聚集） False(預設)yarn.log-aggregation.retain-seconds（日誌儲存時間） -1(永久)<property>        <name>yarn.log-aggregation-enable</name>        <value>true</value>    </property>       <property>        <name>yarn.log-aggregation.retain-seconds</name>        <value>640800/value>    //7天 </property>在web上 url：  master_ip:19888

Hadoop 故障：java.lang.OutOfMemoryError: Java heap space

2013年11月19日 14:06:51閱讀數：8764一個作業執行時，在maptask階段出現瞭如下錯誤：

1. FATAL org.apache.hadoop.mapred.Child: Error running child : java.lang.OutOfMemoryError: Java heap space  
2.         at org.apache.hadoop.io.Text.setCapacity(Text.java:240)  
3.         at org.apache.hadoop.io.Text.append(Text.java:216)  
4.         at org.apache.hadoop.util.LineReader.readLine(LineReader.java:159)  
5.         at org.apache.hadoop.mapreduce.lib.input.LineRecordReader.nextKeyValue(LineRecordReader.java:97)  
6.         at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:532)  
7.         at org.apache.hadoop.mapreduce.MapContext.nextKeyValue(MapContext.java:67)  
8.         at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:143)  
9.         at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:764)  
10.         at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)  
11.         at org.apache.hadoop.mapred.Child$4.run(Child.java:255)  
12.         at java.security.AccessController.doPrivileged(Native Method)  
13.         at javax.security.auth.Subject.doAs(Subject.java:416)  
14.         at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)  
15.         at org.apache.hadoop.mapred.Child.main(Child.java:249)  

根據錯誤資訊初步判斷是JVM堆記憶體不夠用導致，有可能是單條資料過大，或JVM記憶體過小導致，首先驗證了該錯誤並非資料導致，方法是把導致問題的那行資料匯出來，單獨運行了MR是沒有問題的，檢查了MR沒有死迴圈分配記憶體的問題，那基本可以斷定確實是JVM的記憶體太小了，JVM的預設記憶體分配有兩種可能 1)、系統JVM預設分配，大小為實體記憶體的1/4 2)、在任務指令碼執行時指定map的執行指令碼會被hadoop封裝在taskjvm.sh中，文字檔案可以直接檢視

1. exec setsid '/usr/lib/jvm/java-1.6.0-openjdk-1.6.0.0.x86_64/jre/bin/java' '-Djava.library.path=/opt/hadoop104/libexec/../lib    /native/Linux-amd64-64:/data/tmp/mapred/local/taskTracker/hc/jobcache/job_201310281456_0718/attempt_201310281456_0718_m_0000    00_0/work' '-Xmx200m' '-Djava.net.preferIPv4Stack=true' .....  

分配了200m，由於叢集中沒有修改mapred.child.java.opts這個引數，在1.0.4版本中該值為 -Xmx200m，io.sort.mb預設為100m，那麼只剩100m供任務使用了，程式中的物件例項會用一部分，執行時臨時分配的buffer會用一部分，例如LineRecordReader分配的讀入緩衝區。這裡只要修改mapred.child.java.opts這個引數就可以了mapred-site.xml 新增：

1. <property>
2. <name>mapred.child.java.opts</name>
3. <value>-Xmx1024m</value>
4. </property>

這種辦法並不通用，因為很多情況下記憶體過載是由於程式碼造成的，那種情況下就要具體分析了。對於JVM記憶體的檢視可以使用jconsole，這是個圖形介面，能夠遠端連線JVM程序，分析JVM效能時可以使用這個工具1、啟動JVM時新增如下引數

1. java -Djava.rmi.server.hostname=192.168.2.38 -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=8888 -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false test  

當客戶向RM提交 作業時，由AM負責向RM提出資源申請，和向NameManager（NM）提出task執行 。也就是說 在這個過程中，RM負責資源排程，AM 負責任務排程。幾點重要說明：RM負責整個叢集的資源管理與排程；Nodemanager(NM)負責單個節點的資源管理與排程；NM定時的通過心跳的形式與RM進行通訊，報告節點的健康狀態與記憶體使用情況；AM通過與RM互動獲取資源，然後然後通過與NM互動，啟動計算任務。下面對上面的內容通過記憶體資源配置進行詳細說明：下面對上面的內容通過記憶體資源配置進行詳細說明：RM的記憶體資源配置，主要是通過下面的兩個引數進行的（這兩個值是Yarn平臺特性，應在yarn-sit.xml中配置好）：yarn.scheduler.minimum-allocation-mb ：4096yarn.scheduler.maximum-allocation-mb：512說明：單個容器可申請的最小與最大記憶體，應用在執行申請記憶體時不能超過最大值，小於最小值則分配最小值，從這個角度看，最小值有點想作業系統中的頁。最小值還有另外一種用途，計算一個節點的最大container數目注：這兩個值一經設定不能動態改變(此處所說的動態改變是指應用執行時)。NM的記憶體資源配置，主要是通過下面兩個引數進行的（這兩個值是Yarn平臺特性，應在yarn-sit.xml中配置） ：yarn.nodemanager.resource.memory-mb:   4096yarn.nodemanager.vmem-pmem-ratio  ：2.1說明：每個節點可用的最大記憶體，RM中的兩個值不應該超過此值。此數值可以用於計算container最大數目，即：用此值除以RM中的最小容器記憶體。虛擬記憶體率，是佔task所用記憶體的百分比，預設值為2.1倍;注意：第一個引數是不可修改的，一旦設定，整個執行過程中不可動態修改，且該值的預設大小是8G，即使計算機記憶體不足8G也會按著8G記憶體來使用。AM記憶體配置相關引數，此處以MapReduce為例進行說明（這兩個值是AM特性，應在mapred-site.xml中配置），如下：mapreduce.map.memory.mb  ：  800mapreduce.reduce.memory.mb ：1400說明：這兩個引數指定用於MapReduce的兩個任務（Map and Reduce task）的記憶體大小，其值應該在RM中的最大最小container之間。如果沒有配置則通過如下簡單公式獲得：max(MIN_CONTAINER_SIZE, (Total Available RAM) / containers))一般的reduce應該是map的2倍。注：這兩個值可以在應用啟動時通過引數改變；AM中其它與記憶體相關的引數，還有JVM相關的引數，這些引數可以通過，如下選項配置：mapreduce.map.java.opts ： 700mapreduce.reduce.java.opts：1024說明：這兩個參主要是為需要執行JVM程式（java、scala等）準備的，通過這兩個設定可以向JVM中傳遞引數的，與記憶體有關的是，-Xmx，-Xms等選項。此數值大小，應該在AM中的map.mb和reduce.mb之間。yanrn-site.xml<property>      <name>yarn.nodemanager.resource.cpu-vcores</name>      <value>2</value>    </property><property>      <name>yarn.nodemanager.resource.memory-mb</name>      <value>4096</value>    </property><property>      <name>yarn.scheduler.maximum-allocation-mb</name>      <value>4000</value>    </property>     <property>      <name>yarn.scheduler.maximum-allocation-vcores</name>      <value>3</value>    </property>    <property>      <name>yarn.scheduler.minimum-allocation-mb</name>      <value>512</value>    </property>    <property>      <name>yarn.scheduler.minimum-allocation-vcores</name>      <value>1</value>    </property>mapred-site.xml :<property>      <name>mapreduce.map.java.opts</name>      <value>-Xmx700m</value>    </property><property>      <name>mapreduce.map.memory.mb</name>      <value>800</value>    </property><property>      <name>mapreduce.reduce.java.opts</name>      <value>-Xmx1024m</value>    </property>  <property>      <name>mapreduce.reduce.memory.mb</name>      <value>1400</value>    </property>  <property>      <name>mapreduce.task.io.sort.mb</name>      <value>200</value>    </property>