1. 程式人生 > >hadoop 處理檔案的過程

hadoop 處理檔案的過程

注意:

      1、如果一個檔案的大小小於這個機器上獲取的檔案的1.1倍時,則會預設為這個檔案為一個檔案進行處理

      2、檔案的大小越小對像處理的時間要求就越大

      3、一個切片就會交給一個mapTask,也真是消耗時間的原因

      4、預設的切片的大小是預設的塊的大,即使:splisize =  blocksize  

      5、修改塊的大小檔案為:hdfs-site.xml     的     

      <property>
                  <name>dfs.block.size</name>
                 <value>512000</value>
          </property>

      6、通過設定塊的大小可以調系統的效能