1. 程式人生 > >Hadoop叢集安裝四大模式

Hadoop叢集安裝四大模式

叢集的安裝模式:

      1.單機模式:只需要解壓即可用,沒有分散式的檔案系統,也沒有namenode datanode

Secondar等,檔案系統就是linux/widows的本地檔案系統。

用於:程式碼除錯

      2.偽分散式:有相關的hdfs或yarn的程序,這些程序全部在一個節點,存在分散式的檔案系統的,只不過一個上的

特點:搭建比較簡單,容易上手

用途:個人學習和測試的時候一般使用

      3.完全分散式:

多個節點上搭建,每一個節點都會承當相應的角色,有分散式檔案系統,分散式檔案系統多個節點

有多個節點:

  • Hdfs的主節點namenode只有一個
  • Yarn的主節點resourcemannager只有一個
  • 從節點(datanode/namenode)有多個

用途:隔熱學習、測試、生產中很少使用、

3.高可用

完全分散式的缺陷:主節點(namenode/resourcemanager)存在單點故障

高可用叢集同時可以用多個主節點

一般我們使用的叢集2個主節點,namenode有兩個,resourcemanager有兩個

同一時間對外提供服務的主節點只有一個,我們將這個主節點稱為

兩個namenode的資料時刻保持一致的,才能保證standby namenode接替

active namenode的時候資料不丟失的,資料是一致的

叢集可以持續對外提供服務

生產中使用的最廣泛的方式

5.聯邦模式

高可用叢集的缺陷:

雖然叢集中有兩個namenode。但是這兩個namenode同一時間只能對一個外提供服務,兩個namenode儲存的資料是一致的,當叢集中的從節點個數過多的時候,namenode的壓力很大,namenode的壓力沒有辦法分擔的

         

適用於超大機群,對於超大叢集:聯邦模式+高可用