Hadoop之HDFS分布式文件系統具有哪些優點?
阿新 • • 發佈:2018-03-23
大數據開發 Hadoop HDFS分布式文件系統 隨著互聯網數據規模的不斷增大,對文件存儲系統提出了更高的要求,需要更大的容量、更好的性能以及更高安全性的文件存儲系統,與傳統分布式文件系統一樣,HDFS分布式文件系統也是通過計算機網絡與節點相連,但也有優於傳統分布式文件系統的優點。
1. 支持超大文件
HDFS分布式文件系統具有很大的數據集,可以存儲TB或PB級別的超大數據文件,能夠提供比較高的數據傳輸帶寬與數據訪問吞吐量,相應的,HDFS開放了一些POSIX的必須接口,容許流式訪問文件系統的數據。
2. 高容錯性能
HDFS面向的是成百上千的服務器集群,每臺服務器上存儲著文件系統的部分數據,在集群的環境中,硬件故障是常見的問題,這就意味著總是有一部分硬件因各種原因而無法工作,因此,錯誤檢測和快速、自動的恢復是 HDFS最核心的架構目標,因此,HDFS具有高度的容錯性。
3. 高數據吞吐量
HDFS采用的是“一次性寫,多次讀”這種簡單的數據一致性模型,在HDFS中,一個文件一旦經過創建、寫入、關閉後,一般就不需要修改了,這樣簡單的一致性模型,有利於提高吞吐量。
4. 流式數據訪問
HDFS的數據處理規模比較大,應用一次需要訪問大量的數據,同時這些應用一般都是批量處理,而不是用戶交互式處理,應用程序能以流的形式訪問數據集。
Hadoop已經迅速成長為首選的、適用於非結構化數據的大數據分析解決方案,HDFS分布式文件系統是Hadoop的核心組件之一,保證了大數據的可靠存儲,與MapReduce配合使用,可以對結構化和復雜大數據進行快速、可靠分析,從而為企業做出更好的決策,促進收入增長,改善服務,降低成本提供有力支撐!
Hadoop之HDFS分布式文件系統具有哪些優點?