zz手把手教你在騰訊雲上搭建hadoop3.x偽叢集的方法(參考該文建立偽叢集)
阿新 • • 發佈:2021-11-17
https://cloud.tencent.com/developer/article/1726589
主要參考了這篇文章,在騰訊雲上安裝了Hadoop偽分散式系統。
系統及軟體版本為:ubuntu18.04 + jdk-17.0.1 + hadoop 3.2.2
幾個改動:
1, 修改主機名一項, ubuntu 18.04似不支援文中操作,最好搜尋如何修改
2,core-site.xml的修改,hadoop.tmp.dir是資料的儲存路徑我設定在hadoop目錄之外。
3,mapred-site.xml(配置歷史伺服器)的修改,歷史伺服器web端地址設定幾行一直報錯,不知道如何解決,直接刪掉。
另外:
第1條是事後安裝未成功,重新操作的,之後成功了。應該還是hostname的事情
如果在騰訊雲單機安裝偽叢集,注意修改ssh配置,允許通過密碼遠端訪問例項(預設要祕鑰),否則有節點之間通訊問題。
還有,騰訊雲實例登入還有hadoop配置都最好嚴格按照騰訊雲、該文章去配。譬如Xshell不太好遠端登入,一定得Putty。