Hadoop 分散式檔案系統 (HDFS) 是執行在通用硬體上的分散式檔案系統。HDFS 提供了一個高度容錯性和高吞吐量的海量資料儲存解決方案。HDFS 已經在各種大型線上服務和大型儲存系統中得到廣泛應用，已經成為各大網站等線上服務公司的海量儲存事實標準，多年來為網站客戶提供了可靠高效的服務。

　　隨著資訊系統的快速發展，海量的資訊需要可靠儲存的同時，還能被大量的使用者快速地訪問。傳統的儲存方案已經從構架上越來越難以適應近幾年來的資訊系統業務的飛速發展，成為了業務發展的瓶頸和障礙。

　　HDFS 通過一個高效的分散式演算法，將資料的訪問和儲存分佈在大量伺服器之中，在可靠地多備份儲存的同時還能將訪問分佈在叢集中的各個伺服器之上，是傳統儲存構架的一個顛覆性的發展。HDFS 可以提供以下特性：

　　• 可自我修復的分散式檔案儲存系統

　　• 高可擴充套件性，無需停機動態擴容

　　• 高可靠性，資料自動檢測和複製

　　• 高吞吐量訪問，消除訪問瓶頸

　　• 使用低成本儲存和伺服器構建

　　分散式檔案系統 HDFS 特性

　　高吞吐量訪問

　　HDFS 的每個資料塊分佈在不同機架的一組伺服器之上，在使用者訪問時，HDFS 將會計算使用網路最近的和訪問量最小的伺服器給使用者提供訪問。由於資料塊的每個複製拷貝都能提供給使用者訪問，而不是從單資料來源讀取，HDFS 對於單資料塊的訪問將是傳統儲存方案的數倍。

　　對於一個較大的檔案，HDFS 將檔案的不同部分存放於不同伺服器之上。在訪問大型檔案時，系統可以並行從伺服器陣列中的多個伺服器並行讀入，增加了大檔案讀入的訪問頻寬。

　　通過以上實現，HDFS 通過分散式計算的演算法，將資料訪問均攤到伺服器陣列中的每個伺服器的多個數據拷貝之上，單個硬碟或伺服器的吞吐量限制都可以數倍甚至數百倍的突破，提供了極高的資料吞吐量。

　　無縫容量擴充

　　HDFS 將檔案的資料塊分配資訊存放在NameNode 伺服器之上，檔案資料塊的資訊分佈地存放在 DataNode 伺服器上。當整個系統容量需要擴充時，只需要增加DataNode 的數量，系統會自動地實時將新的伺服器匹配進整體陣列之中。之後，檔案的分佈演算法會將資料塊搬遷到新的DataNode 之中，不需任何系統宕機維護或人工干預。通過以上實現，HDFS 可以做到在不停止服務的情況下實時地加入新的伺服器作為分散式檔案系統的容量升級，不需要人工干預檔案的重新分佈。

　　高度容錯

　　HDFS 檔案系統假設系統故障(伺服器、網路、儲存故障等)是常態，而不是異常。因此通過多方面保證資料的可靠性。資料在寫入時被複制多份，並且可以通過使用者自定義的複製策略分佈到物理位置不同的伺服器上;資料在讀寫時將自動進行資料的校驗，一旦發現數據校驗錯誤將重新進行復制;HDFS 系統在後臺自動連續的檢測資料的一致性，並維持資料的副本數量在指定的複製水平上。

http://storage.chinabyte.com/107/12416607.shtml