1. 問題現象：

如果用kafka hdfs connect將流式資料匯入hdfs，處理開始一定會產生N個只有一條記錄的小檔案，其中N 為kafka topic的分割槽數。不影響功能，但不友好。

ubuntu@wonderwoman:~/databus/confluent-2.0.0/src/kafka-connect-hdfs-2.0.0$ hadoop fs -ls /topics/traceme/srcip=1.0.0.1/dstip=1.0.0.2
Found 18 items
-rw-r--r--   3 ubuntu supergroup        671 2016-06-28 17:20 /topics/traceme/srcip=1.0
 
.0.1/dstip=1.0.0.2/traceme+0+0000000167+0000000167.parquet

2. 問題原因：

資料寫入hdfs的時機有兩個，超時或者條數達到要求。超時機制：
1. 檢查當前時間和上次寫檔案時間是否超過配置值；
2. 如果超過，寫檔案，記錄下此次寫入時的系統時間；
問題出在類初始化時，沒有對記錄的變數進行初始化，long型預設值是0。第一個資料來時，當前系統時間-0 肯定會大於配置值，就會去寫檔案。

3. 修改方案：

kafka-connect-hdfs-2.0.0\src\main\java\io\confluent\connect\hdfs\TopicPartitionWriter.java類初始化時將變數lastRotate初始化為當前系統時間。