【Hadoop系列】HDFS
Hadoop的前世今生
什麽是大數據
各行各業都會產生大量的數據，比如社交網站的意見觀點，電商平臺人們瀏覽網頁停留的時間，交通運輸每天產生的數據等等。這些數據大多不是結構化的，一般來說都是半結構化或者非結構化的
在以前，我們的處理能力達不到，所以很多數據要麽沒有存起來，要麽沒有利用起來。而現在數據越來越集中在雲端的服務器上，並且計算能力已經今非昔比了，我們完全有能力對大數據進行存儲和分析。
所以所謂的大數據指的就是，原有的計算能力無法處理的大批量的數據，而大數據技術研究的是如何快速有效的處理這些結構化、半結構化數據的技術。
處理大數據的架構
下圖是傳統的集中式架構
它的主要問題在於擴展性不強而且數據庫將成為很大的瓶頸。
所以谷歌提出了
MapReduce算法
BigTable
GFS
合稱“三劍客”。
那麽相對於傳統的架構，有什麽樣的變化呢？
首先它可以使用大量的x86服務器，而不是使用性能強健的大型機來完成計算，也就是Scale-out的
另外它使用軟件方案來保證硬件故障容錯
我們知道x86服務器的穩定性不如小型機，存在一定的故障的可能，但是小型機實在太貴了。我們完全可以讓x86服務器組成集群，然後使用上層軟件來保障整體的硬件故障容錯。
簡化並行分布式計算，不需要再控制節點的同步和數據的交換。
Hadoop模仿Google的實現方式，最終演變成一系列的開源項目。
總結一下：
大數據既是一個概念又是一門技術，它是以Hadoop和Spark
Hadoop
上面說到Hadoop是一種分布式計算解決方案，含有若幹組件，其中最著名的當屬
HDFS分布式文件系統：存儲海量數據
存儲技術是大數據的基礎，因為對於大量的數據，我們希望能找的一種比較廉價的方式來保存我們的數據，那麽分布式文件系統當屬首選。
MapReduce編程模型：
並行處理框架，實現任務分解和調度
所以Hadoop的優勢在於：
高擴展性，也就是可以通過增加節點來活動性能提升，比如說性能不夠了，就懟新的服務器上去。
低成本，可以基於便宜的x86服務器
成熟的生態圈，裏面有大量的工具集可以使用
下面分別介紹一下HDFS和MapReduce
HDFS
在【大話存儲II】學習筆記（15章），文件級集群系統中我們介紹了分布式集群的基本概念。
分布式文件系統可以等價於非共享存儲集群文件系統，也就是說同一個文件系統下的文件是存放在不同的節點裏面，而且Sharing-nothing
那麽分布式文件系統應該解決
統一的命名空間，也就是對外顯現同一個文件目錄。
這樣用戶不用管數據是如何存放的，分布式文件系統已經幫它解決存放的問題了，用戶用起來就像使用本地文件一樣簡單。
緩存一致，因為數據都緩存在各自的節點，不存在不緩存不一致的情況。
分布式鎖，也就是多個連接並發訪問的時候，如何控制文件的數據會出現不一致的情況。
若要理解HDFS，我們需要知道如下的基本概念。
基本概念
分布式設計
HDFS這樣的架構，非常類似於【大話存儲II】學習筆記（15章），塊級集群存儲系統中的XIV，當然XIV是提供塊存儲的，不過XIV也利用了文件系統的思想，對每個塊像一個文件一樣。
HDFS的基本存儲和操作單位是數據塊， 默認大小64MB，一般設置為128M。為什麽要這麽設計呢？因為一個文件會比較大，為了分布式存放，可以分成若幹小塊。那麽最好就切成相同大小，比如說64MB。
而且為了保證數據塊不丟失，對每個數據塊會保存3副本，分布在兩個機架的三個節點中。 其中兩份在同一個機架，一份在另一個機架。
比如下圖中兩個A數據塊放在機架1，另一份副本放到了機架2 。
角色
在【大話存儲II】學習筆記（15章），文件級集群系統我們介紹過，分布式文件系統有對稱和非對稱的兩種。
對稱集群中所有節點的地位相同，互相維護通信鏈接進行數據同步，也正因為如此，不適合擴展。
而HDFS采用的是非對稱集群，所以有Master和Slave兩種角色。
Master就是HDFS中的NameNode，它的作用是 存放元數據，管理文件系統的命名空間。也就是一個註冊中心，其他的Slave都要到它這邊註冊。
Master和Slave組成集群以後，可以自服務，也可以對外提供服務。
它會記錄兩種信息：
文件與數據塊的映射關系
數據塊與服務器的對應關系，也就是每個塊存放的節點的信息
Slave則是DataNode，它的主要作用就是存放數據塊，是具體的執行者。
當塊存儲信息改變了以後，DataNode會向NameNode主動更新信息
另外，在這種主從架構裏面，NameNode的地位很超然，非常的重要，一旦他掛了則整個系統就宕了。
所以從HDFS 2x就可以為NameNode配置HA了。
如下圖所示，出現了一個Secondary NameNode。
二級NameNode定期同步元數據鏡像文件和修改日誌，當NameNode發生故障時，備胎轉正。
HDFS的讀與寫
寫
下面我們來看一下寫流程。
客戶端向NameNode發出請求，表示自己要發送文件了，然後NameNode會返回現在空余存儲的信息
然後客戶端將文件分塊，
接著，客戶端將數據塊1以及相應的元數據信息發給DataNode1
然後開啟流水線復制，將數據同步給另外的節點
寫完了以後，DataNode才返回更新信息，最後NameNode向客戶端返回成功。
讀文件
下圖展示了HDFS的讀流程
首先客戶端向NameNode發起讀請求，將路徑+文件名發過去
NameNode返回元數據，告訴客戶端可以從哪些地方取
然後由客戶端自己向DataNode讀取數據
HDFS的特點
了解了HDFS的架構以及讀寫流程以後，我們可以總結一下HDFS的特點。
本質上HDFS就是一個分布式文件系統，它
通過三副本機制進行冗余，類似於的分布式的RAID10
它的寫比較的復雜，需要復制2份，還要同步各種信息，而且修改也比較麻煩，只能刪除以後再寫。所以比較適合於一次寫入，多次讀取的場景，現在的OLAP就比較契合
因為每次寫或者讀都需要向NameNode發起請求，所以NameNode是整個系統的瓶頸，所以如果是小文件的話，NameNode壓力非常大。
也就是說HDFS適合於批量讀，這樣吞吐量高，因為可以並發讀嘛。
但是不支持多用戶寫相同的文件，因為沒有加鎖。
也就是不適合交互應用以及那些實時性要求高的地方。
【Hadoop系列】HDFS