Hadoop學習筆記--不定時更
阿新 • • 發佈：2020-11-02
Hadoop學習筆記--持續更新
⭐️1、大資料部門組織結構
⭐️2、HDFS架構
1、NameNode(nn):儲存檔案的元資料，如檔名、檔案目錄結構、檔案屬性(生成時間、副本數、檔案的許可權等等),以及每個檔案的塊列表和塊所在的DataNode等。
2、DataNode(dn):在本地檔案系統儲存檔案塊資料，以及塊資料的校驗和。
3、Secondary NameNode(2nn):用來監聽HDFS狀態的輔助後臺程式，每隔一段時間獲取HDFS的元資料的快照
⭐️3、Yarn架構
1、ResourceManager(RM): ①.處理客戶端請求 ②.監控NodeManager ③.啟動或監控ApplicationMaster ④.資源的分配與排程 2、NodeManager(NM) ①.管理單個節點上的資源 ②.處理來自ResourceManager的命令 ③.處理來自ApplicationMaster的命令 3、ApplicationMaster(AM) ①.負責資料的切分 ②.為應用程式申請資源並分配給內部的任務 ③.任務的監控與容錯 4、Container ①.Container是YARN中的資源抽象，它封裝了某個節點上的多維度資源，如記憶體、CPU、磁碟、網路等
⭐️4、Hadoop叢集配置
配置規劃| master | slave1 | slave2 | |
|---|---|---|---|
| HDFS | NameNode、DataNode | DataNode | SecondaryNameNode、DataNode |
| YARN | NodeManager | ResourceManager、NodeManager | NodeManager |