安裝Hadoop偽分布式踩過的坑
折騰了好幾天的問題,終於解決了。雖然這次遇到的問題沒在網絡上找到答案,不過,解決問題的過程或多或少受到了網上一些答案的啟發。下面我將分享自己遇到的問題,並提供解決方法。
(一)、相關資料
http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html #官網指導
http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html #shell命令
https://blog.csdn.net/jsutdoit/article/details/82120336 #指導博客
https://blog.csdn.net/weixin_38070561/article/details/81289601 #使用python中的pyhdfs連接HDFS進行操作
(二)、遇到的問題
1、web端訪問正常,但是查看文件和上傳文件都不行,點擊下載文件默認跳轉到:localhost:50075/XX/XX/ 在瀏覽器地址欄將localhost替換成服務器IP可以正常下載。
在網上查看了很多資料,改hdfs-site.xml,進入/etc/hosts添加主機名。。。無論改成什麽樣的主機名都不行。
想著,既然自動跳轉到localhost,那我就將localhost和服務器IP綁定。添加一行 XX.XX.XX.XX(XX代指IP) localhost.改完之後保存,重啟Hadoop。
發現web端網頁不能打開:http:XXX:50070打不開,查看日誌文件,發現報錯了。。。
根據日誌文件可知是剛剛的主機名配置有問題。hadoop是取的這個“localhost.localdomain”,隨即我將localhost換成localhost.localdomain。保存,重啟Hadoop。
上傳下載都沒問題,大工告成。隨後我用pyhdfs連接,也可以實現上傳下載。啊。。。終於解開了心結。看似很小的一個問題,給我折騰了兩天。唉~
安裝Hadoop偽分布式踩過的坑