一、HDFS概述
阿新 • • 發佈:2020-10-09
文章目錄
一、產出背景及定義
- HDFS產生背景
隨著資料量越來越大,在一個作業系統存不下所有的資料,那麼就分配到更多的作業系統管理的磁碟中,但是不方便管理維護,迫切需要一種系統來管理多臺機器上的檔案,這就是分散式檔案管理系統。HDFS只是分散式檔案管理系統中的一種。 - HDFS定義
HDFS(Hadoop Distributed File System),它是一個檔案系統,用於儲存檔案,通過目錄樹來定位檔案;其次,它是分散式的,由很多伺服器聯合起來實現其功能,叢集中的伺服器有各自的角色。
HDFS的使用場景:適合一次寫入,多次讀出的場景,且不支援檔案的修改。適合用來做資料分析,並不適合用來做網盤應用。
二、HDFS優缺點
-
優點
1.1 高容錯性
1)資料自動儲存多個副本。它通過增加副本的形式,提高容錯性。
2)某一個副本丟失以後,它可以自動恢復。
1.2適合處理大資料
1)資料規模:能夠處理資料規模達到GB、TB、甚至PB級別的資料;
2)檔案規模︰能夠處理白萬規模以上的文什數量,數量相當之大。
1.3 可構建在廉價機器上,通過多副本機制,提高可靠性。 -
缺點
2.1 不適合低延時資料訪問,比如毫秒級的儲存資料,是做不到的。
2.2 無法高效的對大量小檔案進行儲存。
1)儲存大量小檔案的話,它會佔用NameNode大量的記憶體來儲存檔案目錄和塊資訊。這樣是不可取的,因為NameNode的記憶體總是有限的;
2.3 不支援併發寫入、檔案隨機修改。
HDFS
1)一個檔案只能有一個寫,不允許多個執行緒同時寫;
2)僅支援資料append(追加),不支援檔案的隨機修改。
三、HDFS組成架構
四、HDFS檔案塊大小(面試重點)
思考:為什麼塊的大小不能設定太小,也不能設定太大?
(1)HDFS的塊設定太小,會增加定址時間,程式—直在找塊的開始位置;
(2)如果塊設定的太大,從磁碟傳輸資料的時間會明顯大於定位這個塊開始位置聽需的時間。導致程式在處理這塊資料時,會非常慢。
總結: HDFS塊的大小設定主要取決於磁碟傳輸速率。