轉載：https://www.cnblogs.com/codeOfLife/p/5676754.html

在map階段讀取資料前，FileInputFormat會將輸入檔案分割成split。split的個數決定了map的個數。影響map個數（split個數）的主要因素有：

  1) 檔案的大小。當塊（dfs.block.size）為128m時，如果輸入檔案為128m，會被劃分為1個split；當塊為256m，會被劃分為2個split。

  2) 檔案的個數。FileInputFormat按照檔案分割split，並且只會分割大檔案，即那些大小超過HDFS塊的大小的檔案。如果HDFS中dfs.block.size設定為128m，而輸入的目錄中檔案有100個，則劃分後的split個數至少為100個。

  3) splitsize的大小。分片是按照splitszie的大小進行分割的，一個split的大小在沒有設定的情況下，預設等於hdfs block的大小。但應用程式可以通過兩個引數來對splitsize進行調節

    InputSplit=Math.max(minSize, Math.min(maxSize, blockSize)

    其中：

      minSize=mapred.min.split.size

      maxSize=mapred.max.split.size

    我們可以在MapReduce程式的驅動部分新增如下程式碼：

      TextInputFormat.setMinInputSplitSize(job,1024L); // 設定最小分片大小

      TextInputFormat.setMaxInputSplitSize(job,1024×1024×10L); // 設定最大分片大小

    總結如下：

      當mapreduce.input.fileinputformat.split.maxsize > mapreduce.input.fileinputformat.split.minsize > dfs.blockSize的情況下，此時的splitSize 將由mapreduce.input.fileinputformat.split.minsize引數決定

      當mapreduce.input.fileinputformat.split.maxsize > dfs.blockSize > mapreduce.input.fileinputformat.split.minsize的情況下，此時的splitSize 將由dfs.blockSize配置決定

      當dfs.blockSize > mapreduce.input.fileinputformat.split.maxsize > mapreduce.input.fileinputformat.split.minsize的情況下，此時的splitSize將由mapreduce.input.fileinputformat.split.maxsize引數決定。