【Hadoop】HBase、HDFS和MapReduce架構異同簡解
阿新 • • 發佈：2019-02-13
HBase、HDFS和MapReduce架構異同
| .. | HBase（公司架構模型） | HDFS2.0（公司架構模型） | MR2.0（公司架構模型） | MR1.0（公司架構模型） |
|---|---|---|---|---|
| 中央 | HMaster | NameNode(NN) | ResourceManger(RM) | JobTracker(JT) |
| 地方 | HRegionServer(HRS) | DataNode(DN) | NodeManager(NM) | TaskTracker(TT) |
| 監控協調者 | ZooKeeper | ZooKeeper | ZooKeeper | 無 |
| 是否有HA | HMaster-backups | NN（Standby） | RM（Standby） | 無，存在單點故障 |
| 故障轉移方式 | 1.HMaster與ZooKeeper直接通訊（誰先建立znode，則誰為active） 2.HRegionServer與ZooKeeper直接通訊 |
NM不與ZooKeeper直接通訊，ZKFC監控NM狀態，ZKFC與ZK通訊，由ZKFC來參與選舉（誰先建立znode，則誰為active） | RM直接與ZK直接通訊，誰先建立znode，則誰為active | 無，存在單點故障 |
| 地方故障誰負責恢復和轉移 | HMaster | NameNode | ResourceManager | JobTracker |
| 中央與地方的通訊 | HRegionServer與ZK心跳，HMaster從ZK獲取HRS狀態 | DN週期性向NN彙報 | NM週期性向RM彙報 | TT週期性向JT彙報 |
| 中央的共同職責 | 1. 負責地方任務的分配和故障轉移 2. 監聽地方的健康狀態（HMaster從ZooKeeper獲取HRegionServer的狀態） 3. 地方資源的分配 |
|||
| 中央各特點 | 分配HRegionServer上的Region | 分配DN的block | 分配NM上container上的任務 | 分配TaskTracker上的task |
| 負載均衡 | HRS上region的負載均衡 | block的負載均衡 | ||
| 特點 | 1.Region的預分割槽、分裂和合並 2.Compaction機制 3.WAL機制 4.讀寫流程 |
1.副本策略 2.資料寫入的副本管道傳輸機制 3.聯邦制 |
1.資源排程和應用管理獨立程序 2.NM上節點資源由NM管理，ApplicationManager和 AppliactionMaster管理任務 3.container概念 |
1.將資源劃分為等量以slot為單位 2.maptask和reducetask獨立分配 |