端口查看 復制 客戶 根目錄 路徑 提高 strong 端口 hadoop1.x

　　一.NameNode，SeconderyNamenode，DataNode

　　NameNode，DataNode，SeconderyNamenode都是進程，運行在節點上。

　　1.NameNode：hadoop的主節點， 保存HDFS的元數據信息

1.fsimage - 它是在NameNode啟動時對整個文件系統的快照 2.edit logs - 它是在NameNode啟動後，對文件系統的改動序列 　　 　　2.SeconderyNamenode： 職責是合並NameNode的edit logs到fsimage文件中，幫助NameNode 　　　

　　3.DataNode

： 響應來自 HDFS 客戶機的讀寫請求。它們還響應來自 NameNode 的創建、刪除和復制塊的命令。NameNode 依賴來自每個 DataNode 的定期心跳（heartbeat）消息。每條消息都包含一個塊報告，NameNode 可以根據這個報告驗證塊映射和其他文件系統元數據。如果 DataNode 不能發送心跳消息，NameNode 將采取修復措施，重新復制在該節點上丟失的塊。

　　一.HDFS相關概念　　

　　1.HDFS ： Hadoop分布式文件系統（Hadoop Distributed File System） 　　2.數據塊：存儲時為了方便傳輸和提高容錯率，把文件分為多個數據塊，hadoop1.x 是64M,hadoop2.x 是128M 　　3.復制因子：hdfs文件會在多個節點進行備份，默認數量為3（現在配置的是偽分布式，只有一個） 　　在hdfs-site.xml 中配置 　　<property> 　　 <name>dfs.replication</name> 　　<value>1</value>　　 　　</property> 　　4.fsimage文件： FSImage文件是HDFS中名字節點NameNode上文件/目錄元數據在特定某一時刻的持久化存儲文件。 　　5.edits文件： 操作日誌文件，由NameNode或者SeconderyNamenode讀取對fsimage文件進行更改 　　6.安全模式： 安全模式是hadoop的一種保護機制，用於保證集群中的數據塊的安全性。 　　當集群啟動的時候，會首先進入安全模式。當系統處於安全模式時會檢查數據塊的完整性。 　　這時，不允許客戶端進行任何修改文件的操作,包括上傳文件，刪除文件，重命名，創建文件夾等操作。 　　正常情況下，安全模式會運行一段時間自動退出的，只需要我們稍等一會就行了，到底等多長時間呢，我們可以通過50070端口查看安全模式退出的剩余時間

　　

　　三.常見HDFS shell命令

　　1.查看目錄 hadoop fs -ls hdfs目錄(根目錄為 /) 　　2.創建目錄 hadoop fs -mkdir -p hdfs路徑 （-p是可以創建多級目錄） 　　3.刪除目錄 hadoop fs -rmdir hdfs目錄 （只能刪除空目錄） 　　4.刪除文件 hadoop fs -rm -r hdfs路徑 （加-r可循環刪除非空目錄） 　　5.上傳文件 hadoop fs -put 文件在本機的路徑 hdfs路徑 　　6.下載文件 hadoop fs -get 文件在hdfs路徑 文件在本機要放置的路徑 　　7.查看文件 hadoop fs -cat 文件在hdfs的路徑 　　8.查看健康模式 hdfs dfsadmin -safemode get

　　

　　

Hadoop 新生報道（三） hadoop基礎概念