Hadoop_10_HDFS 的 DataNode工作機制
阿新 • • 發佈:2018-06-18
spa desc 單位 rip determine 故障 配置 IV 一個
1.DataNode的工作機制:
1、DataNode工作職責:存儲管理用戶的文件塊數據
定期向namenode匯報自身所持有的block信息(通過心跳信息上報)
(這點很重要,因為,當集群中發生某些block副本失效時,集群如何恢復block初始副本數量的問題)
2.配置文件:
<property> <name>dfs.blockreport.intervalMsec</name> <value>3600000</value> <description>Determines block reporting interval in milliseconds.</description> </property>
2.DataNode掉線判定時限:
datanode進程死亡或者網絡故障造成datanode無法與namenode通信,namenode不會立即把該節點判定為
死亡,要經過一段時間,這段時間暫稱作超時時長。HDFS默認的超時時長為10分鐘+30秒。如果定義超時時間
為timeout,則超時時長的計算公式為:
timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval
而默認的heartbeat.recheck.interval 大小為5分鐘,dfs.heartbeat.interval默認為3秒
需要註意的是hdfs-site.xml 配置文件中的heartbeat.recheck.interval的單位為毫秒,dfs.heartbeat.
interval的單位為秒
舉例,如果heartbeat.recheck.interval設置為5000(毫秒),dfs.heartbeat.interval設置為3(秒,默認)
,則總的超時時間為40秒
<property> <name>heartbeat.recheck.interval</name> <value>2000</value> </property> <property> <name>dfs.heartbeat.interval</name> <value>1</value> </property>
3.總結:
datanode不是一下線就會被namenode認定為下線的,有一個超時時間
Hadoop_10_HDFS 的 DataNode工作機制