避免mapper開啟過多，導致導致的資源錯配，

　　1、hive小文件問題

　　2、mr編程小文件問題

1、hive中的小文件問題

通過shell，產生100個小文件，目錄 one100

[centos@s101 ~/one00]$ for((x=1;x<=100;x+=1)); do echo $x,tom$x,$x > $x.txt; done

建表

create table one100(id int,name string,age int)row format delimited fields terminated by ‘,‘;

load數據到表one100中

load data local inpath ‘
 
one00/*‘ into table one100;

配置：

set mapred.max.split.size；

默認256000000，

2、小文件問題解決