看了很多部落格，感覺沒有一個說的很清楚，所以我來整理一下。

先看一下這個圖

輸入分片（Input Split）：在進行map計算之前，mapreduce會根據輸入檔案計算輸入分片（input split），每個輸入分片（input split）針對一個map任務，輸入分片（input split）儲存的並非資料本身，而是一個分片長度和一個記錄資料的位置的陣列。

Hadoop 2.x預設的block大小是128MB，Hadoop 1.x預設的block大小是64MB，可以在hdfs-site.xml中設定dfs.block.size，注意單位是byte。

分片大小範圍可以在mapred-site.xml中設定，mapred.min.split.size mapred.max.split.size，

那麼分片到底是多大呢？

minSize=max{minSplitSize,mapred.min.split.size} 

maxSize=mapred.max.split.size

splitSize=max{minSize,min{maxSize,blockSize}}

我們再來看一下原始碼

答案是實際的檔案大小，而非一個塊的大小。

有大神已經驗證這個答案了：http://blog.csdn.net/samhacker/article/details/23089157

1、往hdfs裡面新增新檔案前，hadoop在linux上面所佔的空間為 464 MB：

2、往hdfs裡面新增大小為2673375 byte(大概2.5 MB)的檔案：

2673375 derby.jar

3、此時，hadoop在linux上面所佔的空間為 467 MB——增加了一個實際檔案大小(2.5 MB)的空間，而非一個block size(128 MB)：

4、使用hadoop dfs -stat檢視檔案資訊： 

這裡就很清楚地反映出： 檔案的實際大小(file size)是2673375 byte， 但它的block size是128 MB。

5、通過NameNode的web console來檢視檔案資訊: 

結果是一樣的： 檔案的實際大小(file size)是2673375 byte， 但它的block size是128 MB。

6、不過使用‘hadoop fsck’檢視檔案資訊，看出了一些不一樣的內容——  ‘1（avg.block size 2673375 B）’: 

值得注意的是，結果中有一個 ‘1（avg.block size 2673375 B）’的字樣。這裡的 'block size' 並不是指平常說的檔案塊大小(Block Size)—— 後者是一個元資料的概念，相反它反映的是檔案的實際大小(file size)。以下是Hadoop Community的專家給我的回覆： 

“The fsck is showing you an "average blocksize", not the block size metadata attribute of the file like stat shows. In this specific case, the average is just the length of your file, which is lesser than one whole block.”

最後一個問題是： 如果hdfs佔用Linux file system的磁碟空間按實際檔案大小算，那麼這個”塊大小“有必要存在嗎？

其實塊大小還是必要的，一個顯而易見的作用就是當檔案通過append操作不斷增長的過程中，可以通過來block size決定何時split檔案。以下是Hadoop Community的專家給我的回覆： 

“The block size is a meta attribute. If you append tothe file later, it still needs to know when to split further - so it keeps that value as a mere metadata it can use to advise itself on write boundaries.” 

補充：我還查到這樣一段話

原文地址：http://blog.csdn.net/lylcore/article/details/9136555

一個split的大小是由goalSize, minSize, blockSize這三個值決定的。computeSplitSize的邏輯是，先從goalSize和blockSize兩個值中選出最小的那個（比如一般不設定map數，這時blockSize為當前檔案的塊size，而goalSize是檔案大小除以使用者設定的map數得到的，如果沒設定的話，預設是1）。