概念介紹

分塊

在HDFS系統中，為了便於檔案的管理和備份，引入分塊概念（block）。這裡的 塊 是HDFS儲存系統當中的最小單位，HDFS預設定義一個塊的大小為64MB。當有檔案上傳到HDFS上時，若檔案大小大於設定的塊大小，則該檔案會被切分儲存為多個塊，多個塊可以存放在不同的DataNode上，整個過程中 HDFS系統會保證一個塊儲存在一個datanode上 。但值得注意的是 如果某檔案大小沒有到達64MB，該檔案並不會佔據整個塊空間 。

HDFS中的NameNode會記錄在上述檔案分塊中檔案的各個塊都存放在哪個dataNode上，這些資訊一般也稱為 元資訊(MetaInfo)

分片

當一個作業提交到Hadoop執行的時候，其中的核心步驟是MapReduce，在這個過程中傳輸的資料可能會很多，Hadoop會將MapReduce的輸入資料劃分為等長的小資料塊，稱為輸入分片或者分片。hadoop為每個分片構建一個map任務,分片的預設實現由InputSplitFormat 類的 getSplits() 方法指定：

 long splitSize = computeSplitSize(goalSize, minSize, blockSize);

    //computeSplitSize方法中省略其他程式碼，核心計算規則如下
 

 Math.max(minSize, Math.min(goalSize, blockSize));

其中goalSize的值為：(InputFile的大小)/（配置檔案中定義的mapred.map.tasks的值）

minsize的值為：配置檔案mapred.min.split.size的值

blockSize的值為：64(預設情況)

可以通過上述計算了解到，hadoop計算的分片大小不小於blockSize，並且不小於mapred.min.split.size。預設情況下，以HDFS的一個塊的大小（預設為64M）為一個分片，即分片大小等於分塊大小。當某個分塊分成均等的若干分片時，會有最後一個分片大小小於定義的分片大小，則該分片獨立成為一個分片。

預設分片大小與分塊大小是相同的原因

hadoop在儲存有輸入資料（HDFS中的資料）的節點上執行map任務，可以獲得高效能，這就是所謂的資料本地化。所以最佳分片的大小應該與HDFS上的塊大小一樣，因為如果分片跨越2個數據塊，對於任何一個HDFS節點（基本不肯能同時儲存這2個數據塊），分片中的另外一塊資料就需要通過網路傳輸到map任務節點，與使用本地資料執行map任務相比，效率則更低！