1. 程式人生 > >hadoop叢集啟動後datanode和namenodemanager關閉問題解決

hadoop叢集啟動後datanode和namenodemanager關閉問題解決

成功啟動hadoop集群后,在matser機器上執行jps命令,可以看到:

 Jps
 ResourceManager
 NameNode
 SecondaryNameNode

在slave節點上可以看到:

 DataNode
 Jps
 NodeManager

但是有時候,在叢集啟動一段時間後,slave上的datanode和弄得manager會消失。解決辦法如下:

1.首先檢車自己的配置檔案是不是正確,我的配置檔案如下:

hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name
>
<value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/hadoop/hdfs</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/hadoop/hdfs</value> </property>
<property> <name>dfs.namenode.secondary.http-address</name> <value>Master:9001</value> </property> </configuration>

mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property
>
</configuration>

yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

<property>
<name>yarn.resourcemanager.address</name>
<value>Master:8032</value>
</property>

<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>Master:8030</value>
</property>

<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>Master:8031</value>
</property>

<property>
<name>yarn.resourcemanager.admin.address</name>
<value>Master:8033</value>
</property>

<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>Master:8088</value>
</property>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>

</configuration>

core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hdfs</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
</configuration>

2.如果配置檔案沒有問題,那麼再按以下方法

可能是因為重新格式化叢集,但是以前的資料沒有清理乾淨。重新格式化方式如下:
注意:重新格式化HDFS要將hdfs-site.xml中dfs.namenode.name.dir和dfs.datanode.data.dir所指定目錄下的內容刪除;core-site.xml中hadoop.tmp.dir目錄中的內容刪除。
然後重新啟動hadoop叢集,執行hadoop namenode -format

注意:1.記得啟動前關閉所有機器的防火牆

一般這樣之後就不會再出現出現消失的問題啦~