Hadoop叢集安裝四大模式
阿新 • • 發佈:2018-12-20
叢集的安裝模式:
1.單機模式:只需要解壓即可用,沒有分散式的檔案系統,也沒有namenode datanode
Secondar等,檔案系統就是linux/widows的本地檔案系統。
用於:程式碼除錯
2.偽分散式:有相關的hdfs或yarn的程序,這些程序全部在一個節點,存在分散式的檔案系統的,只不過一個上的
特點:搭建比較簡單,容易上手
用途:個人學習和測試的時候一般使用
3.完全分散式:
多個節點上搭建,每一個節點都會承當相應的角色,有分散式檔案系統,分散式檔案系統多個節點
有多個節點:
- Hdfs的主節點namenode只有一個
- Yarn的主節點resourcemannager只有一個
- 從節點(datanode/namenode)有多個
用途:隔熱學習、測試、生產中很少使用、
3.高可用
完全分散式的缺陷:主節點(namenode/resourcemanager)存在單點故障
高可用叢集同時可以用多個主節點
一般我們使用的叢集2個主節點,namenode有兩個,resourcemanager有兩個
同一時間對外提供服務的主節點只有一個,我們將這個主節點稱為
兩個namenode的資料時刻保持一致的,才能保證standby namenode接替
active namenode的時候資料不丟失的,資料是一致的
叢集可以持續對外提供服務
生產中使用的最廣泛的方式
5.聯邦模式
高可用叢集的缺陷:
雖然叢集中有兩個namenode。但是這兩個namenode同一時間只能對一個外提供服務,兩個namenode儲存的資料是一致的,當叢集中的從節點個數過多的時候,namenode的壓力很大,namenode的壓力沒有辦法分擔的↓
適用於超大機群,對於超大叢集:聯邦模式+高可用