Hadoop-基本模組,執行模式,配置檔案,namenode,datanode,secondarynamenode作用
hadoop模組:
Hadoop Common:支援其他Hadoop模組的常用實用程式。
Hadoop分散式檔案系統(HDFS™):一種分散式檔案系統,可提供對應用程式資料的高吞吐量訪問。
Hadoop YARN:作業排程和叢集資源管理的框架。
Hadoop MapReduce:基於YARN的系統,用於並行處理大型資料集。(一種計算框架)
Hadoop Ozone: Hadoop的物件儲存。(後來新增)
三種執行模式:
本地(獨立)模式:
Hadoop配置為以非分散式模式執行,作為單個Java程序。這對除錯很有用
偽分散式模式:
Hadoop還可以在偽分散式模式下在單節點上執行,其中每個Hadoop守護程式在單獨的Java程序中執行
在一臺機器上執行hdfs檔案系統,執行mr程式,從hdfs上獲取資料,結果存放到hdfs上
完全分散式模式
執行在多臺機器上,同時只有一個hdfs系統
簡述從偽分到完全分散式的步驟
克隆兩個節點,修改主機名,修改ip與主機對映,配置ssh無密登入,安裝jdk,安裝Hadoop,
配置環境變數,修改hadoop配置檔案,格式化。
core-site.xml裡面有fs.defaultFS,hadoop.tmp.dir。hdfs-site.xml裡有dfs.replication(副本數)
mapred-site.xml裡有mapreduce.framework.name<!--指定mr任務在哪個上面執行(本地、經典和yarn)-->
namenode:維護名稱空間、儲存元資料和使用者對hdfs的操作、副本數等等
管理檔案系統名稱空間的主伺服器和管理客戶端對檔案的訪問組成
塊(block)到DataNode的對映
datanode:存放實際資料(塊)
管理連線到它們執行的節點的儲存
提供來自檔案系統客戶端的讀寫請求
執行塊建立,刪除
secondarynamenode:輔助namenode進行工作(檢查點儲存)