hadoop叢集啟動後datanode和namenodemanager關閉問題解決
阿新 • • 發佈:2019-02-12
成功啟動hadoop集群后,在matser機器上執行jps命令,可以看到:
Jps
ResourceManager
NameNode
SecondaryNameNode
在slave節點上可以看到:
DataNode
Jps
NodeManager
但是有時候,在叢集啟動一段時間後,slave上的datanode和弄得manager會消失。解決辦法如下:
1.首先檢車自己的配置檔案是不是正確,我的配置檔案如下:
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name >
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/hadoop/hdfs</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/hadoop/hdfs</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>Master:9001</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property >
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>Master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>Master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>Master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>Master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>Master:8088</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Master</value>
</property>
</configuration>
core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop/hdfs</value>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:9000</value>
</property>
</configuration>
2.如果配置檔案沒有問題,那麼再按以下方法
可能是因為重新格式化叢集,但是以前的資料沒有清理乾淨。重新格式化方式如下:
注意:重新格式化HDFS要將hdfs-site.xml中dfs.namenode.name.dir和dfs.datanode.data.dir所指定目錄下的內容刪除;core-site.xml中hadoop.tmp.dir目錄中的內容刪除。
然後重新啟動hadoop叢集,執行hadoop namenode -format
注意:1.記得啟動前關閉所有機器的防火牆
一般這樣之後就不會再出現出現消失的問題啦~