HDFS分散式儲存系統(提供了 高可靠性、高擴充套件性和高吞吐率的資料儲存服務)HDFS優點：高容錯性 資料自動儲存多個副本，副本丟失後，自動恢復適合批處理 移動計算而非資料，資料位置暴露給計算框架適合大資料處理可構建在廉價機器上HDFS缺點：低延遲資料訪問 比如毫秒級，低延遲與高吞吐率小檔案存取 佔用NameNode 大量記憶體，尋道時間超過讀取時間併發寫入、檔案隨機修改 最好不要修改HDFS:NameNode | Secondary NameNode | DataNode（block）
NameNode主要功能：接受客戶端的讀寫服務NameNode儲存metadate(源資訊)– NameNode的metadate資訊在啟動後會載入到記憶體metadata儲存到磁碟檔名為”fsimage”Block的位置資訊不會儲存到fsimageedits記錄對metadata的操作日誌SecondaryNameNode（SNN）它不是NN的備份（但可以做備份），它的主要工作是幫助NN合併edits log，減少NN啟動時間SNN執行合併時機根據配置檔案設定的時間間隔fs.checkpoint.period 預設3600秒根據配置檔案設定edits log大小 fs.checkpoint.size 規定
DataNode儲存資料（Block）啟動DN執行緒的時候會向NN彙報block資訊通過向NN傳送心跳保持與其聯絡（3秒一次），如果NN 10分鐘沒有收 到DN的心跳，則認為其已經lost，並copy其上的block到其它DN預設情況下block加上自己都有三個副本，大小最好不要超過1GHDFS支援2種認證：simple 只認證使用者，不認證密碼，預設使用kerberos 認證使用者也認證密碼，但是要新增機器的時候，新增的機器上使用者名稱密碼失效HDFS的namenode啟動的時候自動進入安全模式，這時候檔案只讀HDFS安裝：

1. 先決條件
   1. 三臺機器（以上）
   2. 時間一致，相差30秒以內。
   3. 必須有主機名和ip對映。 --hdfs只認主機名，不認IP
   4. 必須有JDK1.7,並且JDK的環境變數必須配置好。
      1. 配置環境變數：vi ~/.bash_profile #全域性變數：/etc/profile

在檔案的最後新增：export JAVA_HOME=/usr/java/defaultexport PATH=$PATH:$JAVA_HOME/binsource ~/.bash_profile 重新重新整理環境變數檔案

5. 防火牆暫時關閉。

上傳tar，並且解壓(tar -zxvf tar包名)。並且配置hadoop的環境變數export HADOOP_HOME=/opt/local/hadoop-2.5.2export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

3. 編輯hadoop配置檔案/etc/hadoop
   ：hadoop-env.sh core-site.xml  hdfs-site.xml

SlevesHadoop-env.sh更改第25行export JAVA_HOME=/usr/java/defaultcore-site.xml     ---主節點  namenode<property>        <name>fs.defaultFS</name>        <value>hdfs://node1:9000</value>    </property><property>        <name>hadoop.tmp.dir</name>        <value>/hadoop</value></property>Hdfs-site.xml       --secondary namenode<property>   <name>dfs.namenode.secondary.http-address</name><value>node2:50090</value></property><property><name>dfs.namenode.secondary.https-address</name><value>node2:50091</value></property>Slaves所有datanode的主機名 --設定所有作為datanode節點的主機名node1node2node3

4. 設定sshd免密碼登陸。
   1. 找一臺主節點：啟動服務。
      1. 執行命令生成金鑰。ssh-keygen     (cd /root        ls –al      cd .ssh)
      2. 拷貝主節點的公鑰到所有節點中去。ssh-copy-id -i id_rsa.pub [email protected]node2 node2可隨意修改node1 node2(所有需要免密碼的伺服器)
5. 拷貝檔案：hosts，bash_profile  hadoop目錄 到其他幾臺機器
6. 格式化HDFS: bin/hdfs namenode –format 必須在主節點上
7. 在主節點上啟動 sbin/start-dfs.sh

啟動之後：jps 顯示機器節點名稱 http://localhost:50070/    localhost改為namenode的ID 網頁訪問埠50070 其他訪問埠9000hdfs dfs -ls / 檢視HDFS根目錄下有沒有資料夾hdfs dfs -mkdir /home 在根目錄下建立一個home資料夾hdfs dfs -put apache-tomcat-7.0.61.tar.gz /home/ 把apache上傳到網盤home下hdfs dfs 檢視幫助文件hdfs dfs -chown -R zhangsan /test 給test資料夾許可權修改為zhangsanhadoop -deamon.sh restart datanode 重啟這個datanode節點hadoop -deamons.sh restart datanode 重啟所有datanode節點 -一般不用eclipse中訪問hdfs服務： D:\java工具\eclipse\plugins 中加上hadoop-eclipse-plugin-2.5.1.jar，然後重啟然後右上角-》Open Perspective找到Map/Reduce下方找到Map/Reduce locations 右下角：New hadoop location選擇DFS Master host:自己的nodeName的IP 埠9000 Location name:隨便取 eclipse程式設計：注意windows使用者注意修改為root