1. 程式人生 > >Hadoop Namenode啟動報錯GC overhead limit exceeded

Hadoop Namenode啟動報錯GC overhead limit exceeded

Hadoop Namenode啟動報錯:

看起來是fsimage中的節點數目過多,導致的GC Overhead超過限制。Fsimage是namenode維護的重要檔案之一,它包含了整個HDFS檔案系統的所有目錄資訊和檔案資訊。對於檔案來說包含了資料塊描述資訊、修改時間、訪問時間等;對於目錄來說,包含了修改時間、訪問許可權控制資訊等。

需要用以下命令檢視fsimage檔案佔用的記憶體大小:

./hdfs oiv -p XML -printToScreen -i ${fsimage檔案路徑} -o /tmp/a

cat  /tmp/a | egrep "<inode><id>|<block><id>" | wc -l | awk '{printf "Objects=%d : Suggested Xms=%0dm Xmx=%0dm\n", $1, (($1 / 1000000 )*1024), (($1 / 1000000 )*1024)}'

如下圖所示:

將hadoop-env.sh裡的HADOOP_NAMENODE_OPTS里加上對於Xmx和Xms的配置:

配置完成後,重啟Hadoop。