HDFS安全模式
阿新 • • 發佈:2018-10-10
.data 其他 並且 res 設定 相關 刪除文件 leave 創建 1. 安全模式概述
安全模式是HDFS所處的一種特殊狀態,在這種狀態下,文件系統只接受讀數據請求,而不接受刪除、修改等變更請求,是一種保護機制,用於保證集群中的數據塊的安全性。
在NameNode主節點啟動時,HDFS首先進入安全模式,集群會開始檢查數據塊的完整性。DataNode在啟動的時候會向namenode匯報可用的block信息,當整個系統達到安全標準時,HDFS自動離開安全模式。
假設我們設置的副本數(即參數dfs.replication)是5,那麽在Datanode上就應該有5個副本存在,假設只存在3個副本,那麽比例就是3/5=0.6。在配置文件hdfs-default.xml中定義了一個最小的副本的副本率(即參數dfs.namenode.safemode.threshold-pct)0.999。
我們的副本率0.6明顯小於0.99,因此系統會自動的復制副本到其他的DataNode,使得副本率不小於0.999.如果系統中有8個副本,超過我們設定的5個副本,那麽系統也會刪除多余的3個副本。
如果HDFS處於安全模式下,不允許HDFS客戶端進行任何修改文件的操作,包括上傳文件,刪除文件,重命名,創建文件夾,修改副本數等操作。 dfs.namenode.safemode.min.datanodes: 離開安全模式的最小可用datanode數量要求,默認為0.也就是即使所有datanode都不可用,仍然可以離開安全模式。
dfs.namenode.safemode.extension: 當集群可用block比例,可用datanode都達到要求之後,如果在extension配置的時間段之後依然能滿足要求,此時集群才離開安全模式。單位為毫秒,默認為30000.也就是當滿足條件並且能夠維持30秒之後,離開安全模式。 這個配置主要是對集群穩定程度做進一步的確認。避免達到要求後馬上又不符合安全標準。
總結一下,要離開安全模式,需要滿足以下條件:
1)達到副本數量要求的block比例滿足要求;
2)可用的datanode節點數滿足配置的數量要求;
3) 1、2 兩個條件滿足後維持的時間達到配置的要求
3. 安全模式命令
手動進入安全模式
hdfs dfsadmin -safemode enter
手動進入安全模式對於集群維護或者升級的時候非常有用,因為這時候HDFS上的數據是只讀的。手動退出安全模式可以用下面命令:
hdfs dfsadmin -safemode leave
如果你想獲取到集群是否處於安全模式,可以用下面的命令獲取:
hdfs dfsadmin -safemode get(也可在web頁面查看安全模式狀態)
安全模式是HDFS所處的一種特殊狀態,在這種狀態下,文件系統只接受讀數據請求,而不接受刪除、修改等變更請求,是一種保護機制,用於保證集群中的數據塊的安全性。
在NameNode主節點啟動時,HDFS首先進入安全模式,集群會開始檢查數據塊的完整性。DataNode在啟動的時候會向namenode匯報可用的block信息,當整個系統達到安全標準時,HDFS自動離開安全模式。
假設我們設置的副本數(即參數dfs.replication)是5,那麽在Datanode上就應該有5個副本存在,假設只存在3個副本,那麽比例就是3/5=0.6。在配置文件hdfs-default.xml中定義了一個最小的副本的副本率(即參數dfs.namenode.safemode.threshold-pct)0.999。
如果HDFS處於安全模式下,不允許HDFS客戶端進行任何修改文件的操作,包括上傳文件,刪除文件,重命名,創建文件夾,修改副本數等操作。
2. 安全模式配置
與安全模式相關主要配置在hdfs-site.xml文件中,主要有下面幾個屬性:
dfs.namenode.replication.min: 每個數據塊最小副本數量,默認為1. 在上傳文件時,達到最小副本數,就認為上傳是成功的。
dfs.namenode.safemode.threshold-pct: 達到最小副本數的數據塊的百分比。默認為0.999f。當小於這個比例,那就將系統切換成安全模式,對數據塊進行復制;當大於該比例時,就離開安全模式,說明系統有足夠的數據塊副本數,可以對外提供服務。小於等於0意味不進入安全模式,大於1意味一直處於安全模式。
dfs.namenode.safemode.extension: 當集群可用block比例,可用datanode都達到要求之後,如果在extension配置的時間段之後依然能滿足要求,此時集群才離開安全模式。單位為毫秒,默認為30000.也就是當滿足條件並且能夠維持30秒之後,離開安全模式。 這個配置主要是對集群穩定程度做進一步的確認。避免達到要求後馬上又不符合安全標準。
總結一下,要離開安全模式,需要滿足以下條件:
2)可用的datanode節點數滿足配置的數量要求;
3) 1、2 兩個條件滿足後維持的時間達到配置的要求
3. 安全模式命令
手動進入安全模式
hdfs dfsadmin -safemode enter
手動進入安全模式對於集群維護或者升級的時候非常有用,因為這時候HDFS上的數據是只讀的。手動退出安全模式可以用下面命令:
hdfs dfsadmin -safemode leave
如果你想獲取到集群是否處於安全模式,可以用下面的命令獲取:
hdfs dfsadmin -safemode get(也可在web頁面查看安全模式狀態)
HDFS安全模式