大資料開發面試部分:正常工作的Hadoop叢集中Hadoop都分別需要啟動哪些程序,它們的作用分別是什麼(大資料開發面試)
阿新 • • 發佈:2019-02-05
啟動的程序:
namenode
socondarynamenode
datanode
ResourceManager(JobTracker)JobTracker
NodeManager(TaskTracker)
DFSZKFailoverController
JournalNode
作用:
a) NameNode它是hadoop中的主伺服器,管理檔案系統名稱空間和對叢集中儲存的檔案的訪問,儲存有 metadate.
b).SecondaryNameNode它不是namenode的冗餘守護程序,而是提供週期檢查點和清理任務。幫助NN合併editslog,減少NN啟動時間。
c)DataNode它負責管理連線到節點的儲存(一個叢集中可以有多個節點)。每個存
d)ResourceManager(JobTracker)JobTracker負責排程DataNode上的工作。每個DataNode有一個TaskTracker,它們執行實際工作。
e) NodeManager(TaskTracker)執行任務
f) DFSZKFailoverController高可用時它負責監控NN的狀態,並及時的把狀態資訊寫入ZK。它通過一個獨立執行緒週期性的呼叫NN上的一個特定介面來獲取NN的健康狀態。FC也有選擇誰作為Active NN的權利,因為最多隻有兩個節點,目前選擇策略還比較簡單(先到先得,輪換)。
g) JournalNode 高可用情況下存放namenode的editlog檔案.