1. 程式人生 > 其它 >zz手把手教你在騰訊雲上搭建hadoop3.x偽叢集的方法(參考該文建立偽叢集)

zz手把手教你在騰訊雲上搭建hadoop3.x偽叢集的方法(參考該文建立偽叢集)

https://cloud.tencent.com/developer/article/1726589

主要參考了這篇文章,在騰訊雲上安裝了Hadoop偽分散式系統。

系統及軟體版本為:ubuntu18.04 + jdk-17.0.1 + hadoop 3.2.2

幾個改動:

1, 修改主機名一項, ubuntu 18.04似不支援文中操作,最好搜尋如何修改

2,core-site.xml的修改,hadoop.tmp.dir是資料的儲存路徑我設定在hadoop目錄之外。

3,mapred-site.xml(配置歷史伺服器)的修改歷史伺服器web端地址設定幾行一直報錯,不知道如何解決,直接刪掉。

另外:

第1條是事後安裝未成功,重新操作的,之後成功了。應該還是hostname的事情

如果在騰訊雲單機安裝偽叢集,注意修改ssh配置,允許通過密碼遠端訪問例項(預設要祕鑰),否則有節點之間通訊問題。

還有,騰訊雲實例登入還有hadoop配置都最好嚴格按照騰訊雲、該文章去配。譬如Xshell不太好遠端登入,一定得Putty。