在mapreduce中讀取protobuf資料時，會遇到一個坑

BytesWritable。當你把byte[]資料儲存到BytesWritable後，通過BytesWritable.getBytes()再讀到的資料並不一定是原資料，可能變長了很多，這是因為BytesWritable採用了自動記憶體增長演算法，你儲存的資料長度為size時，它可能將資料儲存到了長度為capacity（capacity>size）的buffer中，這時候，你通過BytesWritable.getBytes()得到的資料最後一些字元是多餘的，如果裡面儲存的是protobuf序列化後的資料，則無法反序列化，這時候可以使用BytesWritable.setCapacity(BytesWritable.getLength())將後面多餘空間剔除掉，然後就可以使用protobuf反序列為原始資料。

關鍵程式碼如下

conf.setInputFormat(SequenceFileAsBinaryInputFormat.class);

public void map(Object key, BytesWritable values, OutputCollector output,
            Reporter reporter) throws IOException {
    values.setCapacity(values.getLength());// very important !!!
    byte[] data = values.getBytes();
    // more code
}