技術標籤：hadoophdfs

Hadoop重啟失敗問題集合

• NameNode重啟失敗問題集合
• • （1）NameNode GC overhead limit exceeded
  • （1） 解決方案：
  • • • 解決方案選擇：

NameNode重啟失敗問題集合

Hadoop nameNode 啟動需要載入Fsimge檔案和Edit-log檔案。

（1）NameNode GC overhead limit exceeded

![報錯資訊引用](https://img-blog.csdnimg.cn/20201214115324590.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2plc3NpY29u,size_16,color_FFFFFF,t_70)
 

看起來是fsimage中的節點數目過多，導致的GC Overhead超過限制。Fsimage是namenode維護的重要檔案之一，它包含了整個HDFS檔案系統的所有目錄資訊和檔案資訊。對於檔案來說包含了資料塊描述資訊、修改時間、訪問時間等；對於目錄來說，包含了修改時間、訪問許可權控制資訊等。

需要用以下命令檢視fsimage檔案佔用的記憶體大小：

./hdfs oiv -p XML -printToScreen -i ${fsimage檔案路徑} -o /tmp/a

cat /tmp/a | egrep “|” | wc -l | awk ‘{printf “Objects=%d : Suggested Xms=%0dm Xmx=%0dm\n”, $1, (($1 / 1000000 )*1024), (($1 / 1000000 )*1024)}’

（1） 解決方案：

解決方案選擇：

 1.  將hadoop-env.sh裡的調整記憶體大小

      2. 將hadoop-env.sh裡的HADOOP_NAMENODE_OPTS里加上對於Xmx和Xms的配置：

 3.配置：  export HADOOP_NAMENODE_OPTS="-Dhadoop.security.logger=${HADOOP_SECURITY_LOGGER:-INFO,RFAS} -Dhdfs.audit.logger=${HDFS_AUDIT_LOGGER:-INFO,NullAppender}  -Xms6000m -Xmx6000m -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+UseCMSCompactAtFullCollection -XX:CMSFullGCsBeforeCompaction=0 -XX:+CMSParallelRemarkEnabled -XX:+DisableExplicitGC -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=75 -XX:SoftRefLRUPolicyMSPerMB=0 $HADOOP_NAMENODE_OPTS"