1：分布式文件系統（Distributed File System）：

（1）：數據量越來越多，在一個操作系統管轄的範圍存不下了，那麽就分配到更多的操作系統管理的磁盤中，但是不方便管理和維護，因此迫切需要一種系統來管理多臺機器上的文件，這就是分布式文件管理系統 。
（2）：是一種允許文件通過網絡在多臺主機上分享的文件系統，可讓多機器上的多用戶分享文件和存儲空間。
（3）：通透性。讓實際上是通過網絡來訪問文件的動作，由程序與用戶看來，就像是訪問本地的磁盤一般。
（4）：容錯。即使系統中有某些節點脫機，整體來說系統仍然可以持續運作而不會有數據損失。
（5）：分布式文件管理系統很多，hdfs只是其中一種。適用於一次寫入多次查詢的情況，不支持並發寫情況，小文件不合適。

2：Hadoop最擅長的是（離線 ）日誌分析

（1）：HDFS----》海量數據的存儲

（2）：MapReduce----》海量數據的分析

（3）：YARN----》資源管理調度

3：HDFS的Shell

（1）：調用文件系統(FS)Shell命令應使用 bin/hadoop fs 的形式。
（2）：所有的FS shell命令使用URI路徑作為參數。
　　　URI格式是scheme://authority/path。HDFS的scheme是hdfs，對本地文件系統，scheme是file。其中scheme和authority參數都是可選的，如果未加指定，就會使用配置中指定的默認scheme。

　　　例如：/parent/child可以表示成hdfs://namenode:namenodePort/parent/child，或者更簡單的/parent/child（假設配置文件是namenode:namenodePort）
（3）：大多數FS Shell命令的行為和對應的Unix Shell命令類似。

4：HDFS fs命令

（1）-help [cmd] //顯示命令的幫助信息
（2）-ls(r) <path> //顯示當前目錄下所有文件
（3）-du(s) <path> //顯示目錄中所有文件大小
（4）-count[-q] <path> //顯示目錄中文件數量

（5）-mv <src> <dst> //移動多個文件到目標目錄
（6）-cp <src> <dst> //復制多個文件到目標目錄
（7）-rm(r) //刪除文件(夾)
（8）-put <localsrc> <dst> //本地文件復制到hdfs
（9）-copyFromLocal //同put
（10）-moveFromLocal //從本地文件移動到hdfs
（11）-get [-ignoreCrc] <src> <localdst> //復制文件到本地，可以忽略crc校驗
（12）-getmerge <src> <localdst> //將源目錄中的所有文件排序合並到一個文件中
（13）-cat <src> //在終端顯示文件內容
（14）-text <src> //在終端顯示文件內容
（15）-copyToLocal [-ignoreCrc] <src> <localdst> //復制到本地
（16）-moveToLocal <src> <localdst>
（17）-mkdir <path> //創建文件夾
（18）-touchz <path> //創建一個空文件

5：HDFS的Shell命令練習

（1）#hadoop fs -ls / 查看HDFS根目錄
（2）#hadoop fs -mkdir /test 在根目錄創建一個目錄test
（3）#hadoop fs -mkdir /test1 在根目錄創建一個目錄test1
（4）#hadoop fs -put ./test.txt /test　或#hadoop fs -copyFromLocal ./test.txt /test
（5）#hadoop fs -get /test/test.txt . 或#hadoop fs -getToLocal /test/test.txt .
（6）#hadoop fs -cp /test/test.txt /test1
（7）#hadoop fs -rm /test1/test.txt
（8）#hadoop fs -mv /test/test.txt /test1
（9）#hadoop fs -rmr /test1

6：HDFS架構

（1）NameNode
（2）DataNode
（3）Secondary NameNode

7：NameNode

（1）是整個文件系統的管理節點。它維護著整個文件系統的文件目錄樹，文件/目錄的元信息和每個文件對應的數據塊列表。接收用戶的操作請求。
（2）文件包括：
fsimage:元數據鏡像文件。存儲某一時段NameNode內存元數據信息。
edits:操作日誌文件。
fstime:保存最近一次checkpoint的時間
（3）以上這些文件是保存在linux的文件系統中。

8：NameNode的工作特點

（1）Namenode始終在內存中保存metedata，用於處理“讀請求”
（2）到有“寫請求”到來時，namenode會首先寫editlog到磁盤，即向edits文件中寫日誌，成功返回後，才會修改內存，並且向客戶端返回
（3）Hadoop會維護一個fsimage文件，也就是namenode中metedata的鏡像，但是fsimage不會隨時與namenode內存中的metedata保持一致，而是每隔一段時間通過合並edits文件來更新內容。Secondary namenode就是用來合並fsimage和edits文件來更新NameNode的metedata的。

9：SecondaryNameNode

（1）HA的一個解決方案。但不支持熱備。配置即可。
（2）執行過程：從NameNode上下載元數據信息（fsimage,edits），然後把二者合並，生成新的fsimage，在本地保存，並將其推送到NameNode，替換舊的fsimage.
（3）默認在安裝在NameNode節點上，但這樣...不安全！

10：secondary namenode的工作流程

（1）secondary通知namenode切換edits文件
（2）secondary從namenode獲得fsimage和edits(通過http)
（3）secondary將fsimage載入內存，然後開始合並edits
（4）secondary將新的fsimage發回給namenode
（5）namenode用新的fsimage替換舊的fsimage

11：什麽時候checkpiont

（1）fs.checkpoint.period 指定兩次checkpoint的最大時間間隔，默認3600秒。

（2）fs.checkpoint.size 規定edits文件的最大值，一旦超過這個值則強制checkpoint，不管是否到達最大時間間隔。默認大小是64M。

12：NameNode和SecondNameNode之間的聯系

13：Datanode

（1）提供真實文件數據的存儲服務。
（2）文件塊（block）：最基本的存儲單位。對於文件內容而言，一個文件的長度大小是size，那麽從文件的０偏移開始，按照固定的大小，順序對文件進行劃分並編號，劃分好的每一個塊稱一個Block。HDFS默認Block大小是128MB，以一個256MB文件，共有256/128=2個Block.
dfs.block.size
（3）不同於普通文件系統的是，HDFS中，如果一個文件小於一個數據塊的大小，並不占用整個數據塊存儲空間
（4）Replication。多復本。默認是三個。hdfs-site.xml的dfs.replication屬性

14：Remote Procedure Call

（1）RPC——遠程過程調用協議，它是一種通過網絡從遠程計算機程序上請求服務，而不需要了解底層網絡技術的協議。RPC協議假定某些傳輸協議的存在，如TCP或UDP，為通信程序之間攜帶信息數據。在OSI網絡通信模型中，RPC跨越了傳輸層和應用層。RPC使得開發包括網絡分布式多程序在內的應用程序更加容易。

（2）RPC采用客戶機/服務器模式。請求程序就是一個客戶機，而服務提供程序就是一個服務器。首先，客戶機調用進程發送一個有進程參數的調用信息到服務進程，然後等待應答信息。在服務器端，進程保持睡眠狀態直到調用信息的到達為止。當一個調用信息到達，服務器獲得進程參數，計算結果，發送答復信息，然後等待下一個調用信息，最後，客戶端調用進程接收答復信息，獲得進程結果，然後調用執行繼續進行。

（3）hadoop的整個體系結構就是構建在RPC之上的(見org.apache.hadoop.ipc)。

15：HDFS讀過程

（1）初始化FileSystem，然後客戶端(client)用FileSystem的open()函數打開文件
（2）FileSystem用RPC調用元數據節點，得到文件的數據塊信息，對於每一個數據塊，元數據節點返回保存數據塊的數據節點的地址。
（3）FileSystem返回FSDataInputStream給客戶端，用來讀取數據，客戶端調用stream的read()函數開始讀取數據。
（4）DFSInputStream連接保存此文件第一個數據塊的最近的數據節點，data從數據節點讀到客戶端(client)
（5）當此數據塊讀取完畢時，DFSInputStream關閉和此數據節點的連接，然後連接此文件下一個數據塊的最近的數據節點。
（6）當客戶端讀取完畢數據的時候，調用FSDataInputStream的close函數。
（7）在讀取數據的過程中，如果客戶端在與數據節點通信出現錯誤，則嘗試連接包含此數據塊的下一個數據節點。
（8）失敗的數據節點將被記錄，以後不再連接。

16：HDFS寫過程

（1）初始化FileSystem，客戶端調用create()來創建文件
（2）FileSystem用RPC調用元數據節點，在文件系統的命名空間中創建一個新的文件，元數據節點首先確定文件原來不存在，並且客戶端有創建文件的權限，然後創建新文件。
（3）FileSystem返回DFSOutputStream，客戶端用於寫數據，客戶端開始寫入數據。
（4）DFSOutputStream將數據分成塊，寫入data queue。data queue由Data Streamer讀取，並通知元數據節點分配數據節點，用來存儲數據塊(每塊默認復制3塊)。分配的數據節點放在一個pipeline裏。Data Streamer將數據塊寫入pipeline中的第一個數據節點。第一個數據節點將數據塊發送給第二個數據節點。第二個數據節點將數據發送給第三個數據節點。
（5）DFSOutputStream為發出去的數據塊保存了ack queue，等待pipeline中的數據節點告知數據已經寫入成功。
（6）當客戶端結束寫入數據，則調用stream的close函數。此操作將所有的數據塊寫入pipeline中的數據節點，並等待ack queue返回成功。最後通知元數據節點寫入完畢。
（7）如果數據節點在寫入的過程中失敗，關閉pipeline，將ack queue中的數據塊放入data queue的開始，當前的數據塊在已經寫入的數據節點中被元數據節點賦予新的標示，則錯誤節點重啟後能夠察覺其數據塊是過時的，會被刪除。失敗的數據節點從pipeline中移除，另外的數據塊則寫入pipeline中的另外兩個數據節點。元數據節點則被通知此數據塊是復制塊數不足，將來會再創建第三份備份。

17：HDFS的架構

（1）主從結構
　　主節點， namenode
　　從節點，有很多個: datanode
（2）namenode負責：
　　接收用戶操作請求
　　維護文件系統的目錄結構
　　管理文件與block之間關系，block與datanode之間關系
（3）datanode負責：
　　存儲文件
　　文件被分成block存儲在磁盤上
　　為保證數據安全，文件會有多個副本

18：Hadoop部署方式

（1）本地模式
（2）偽分布模式
（3）集群模式

19：Hadoop的特點

（1）擴容能力（Scalable）：能可靠地（reliably）存儲和處理千兆字節（PB）數據。
（2）成本低（Economical）：可以通過普通機器組成的服務器群來分發以及處理數據。這些服務器群總計可達數千個節點。
（3）高效率（Efficient）：通過分發數據，hadoop可以在數據所在的節點上並行地（parallel）處理它們，這使得處理非常的快速。
（4）可靠性（Reliable）：hadoop能自動地維護數據的多份副本，並且在任務失敗後能自動地重新部署（redeploy）計算任務。

hadoop的NAMENODE的管理機制，工作機制和DATANODE的工作原理