參考http://blog.csdn.net/baidu_zhongce/article/details/49210787

hadoop用於對key的排序和分桶的設置選項比較多，在公司中主要以KeyFieldBasePartitioner和KeyFieldBaseComparator被hadoop用戶廣泛使用。

基本概念：

partition：分桶過程，用戶輸出的key經過partition分發到不同的reduce裏，因而partitioner就是分桶器，一般使用平臺默認的hash分桶，也可以用戶自己指定。

key：是需要排序的字段，相同分桶&&相同key的行，排序到一起。

例子：用來搭配不同的參數跑出真實作業的結果來演示這些參數的使用方法。

假設map的輸出是這樣以點好分隔的若幹行：

d.1.5.23
e.9.4.5
e.5.9.22
e.5.1.45
e.5.1.23
a.7.2.6
f.8.3.3

stream.num.map.output.key.fields #設置map輸出的前幾個字段作為key

stream.map.output.field.separator #設置map輸出過程中，字段分隔符號

#

KeyFieldBasePartitioner的用法

如果想要靈活設置key中用於partion的字段，而不是把整個key都用來做partition。就需要使用hadoop中的

org.apache.hadoop.mapred.lib.KeyFieldBasedPartioner了。

hadoop +streaming 排序總結