配置hadoop叢集常見問題和概念聯絡
阿新 • • 發佈:2018-11-19
1)防火牆沒關閉、或者沒有啟動yarn(如果namenode和yarn的resourcemanager在同一臺伺服器上,就只需要配置該臺伺服器的ssh,然後把公鑰分發到其他節點,如果namenode和resourcemanager在不同伺服器上,那麼這兩臺伺服器都必須配置ssh,把各自的公鑰分發到其他節點,使用ssh-copy-id ip或者hostname(做了hosts對映才能用))
2)主機名稱配置錯誤
3)ip地址配置錯誤
4)ssh沒有配置好(很容易犯,如果沒有配置好,比如有的節點沒有配置ssh,叢集啟動的時候就會卡在某一個位置,不動,卡的位置可能就是節點未配置ssh原因
5)root使用者和atguigu兩個使用者啟動叢集不統一
6)配置檔案修改不細心
7)未編譯原始碼
8)datanode不被namenode識別問題(參考:https://blog.csdn.net/yhblog/article/details/83987241 中的問題2)
9)個人學習過程中,如果叢集因配置問題崩掉,1.啟動叢集前先清除以前錯誤資料目錄和日誌目錄,再格式化namenode(開發過程中不能隨便格式化namenode),清除各個節點上的錯誤資料可以使用xcall分發命令,如:
xcall rm -rf /opt/module/hadoop-2.7.2/data/ /opt/module/hadoop-2.7.2/logs/
10)namenode配置好了叢集檔案後可以通過xsync同步到其他節點(namenode配置mapred-site.xml時,應先把mapred-site.xml.template使用mv命令改成mapred-site.xml。使用mv mapred-site.xml.template mapred-site.xml),然後分發到其他節點,此時其他節點裡面會有mapred-site.xml檔案,而mapred-site.xml.template還在,可以不管,因為HDFS系統
預設先找mapred-site.xml檔案
11)slaves本意是苦工,機的意思,意譯為節點的意思,裡面配置的主機名所在的伺服器會產生datanode,意思為那臺伺服器有datanode是由該配置檔案決定的。
12)nodemanager由datanode決定,哪臺伺服器有datanode,叢集啟動後,改伺服器就會產生nodemanager,用於管理datanode,再與resourcemanager進行通訊,從而達到資源排程。