1. 程式人生 > >Hadoop解決WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException問題

Hadoop解決WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException問題

昨天配置完Hadoop環境搭建了集群后,今天跟著視訊操作叢集,啟動叢集沒啥問題,然操作叢集的時候出了問題(上傳檔案失敗)

 

 

由於本人是剛學,是個新手,這篇文章有問題之處請大家指出

 

自己在解決這個問題的時候左弄弄右弄弄被自己解決了,詳細步驟也無法給出。

總結如下:

1、看自己是否關閉防火牆了,防火牆沒關可能導致這個原因(我是跟著老師的視訊來學的,老師的視訊之前關閉過防火牆,我由於昨天關過電腦,再開Linux的時候防火牆是預設開啟的)

2、在core-site.xml中沒有配置hadoop執行時產生的檔案的儲存目錄(老師的視訊中只配置了NameNode,沒有配置hadoop的儲存目錄 )

 我的防火牆沒有關閉,我關了後還是不行,後面看別人說是使用hadoop namenode -format格式化時格式化了多次造成那麼spaceID不一致

 

這是別人的解決步驟:

 我當時看到這裡的時候一直找data目錄,沒找到,,然後看老師的筆記才發現

 我少配置了這個

我重新配置完後,重啟叢集:

 1、stop-dfs.sh
 2、start-dfs.sh

 

 

就可以了