在第一篇文章中我們是將log4j的日誌輸出到了agent的日誌檔案當中。配置檔案如下：

1. tier1.sources=source1  
2. tier1.channels=channel1  
3. tier1.sinks=sink1  
4. tier1.sources.source1.type=avro  
5. tier1.sources.source1.bind=0.0.0.0  
6. tier1.sources.source1.port=44444  
7. tier1.sources.source1.channels=channel1  
8. tier1.channels.channel1.type=memory  
9. tier1.channels.channel1.capacity=10000  
10. tier1.channels.channel1.transactionCapacity=1000  
11. tier1.channels.channel1.keep-alive=30  
12. tier1.sinks.sink1.type=logger  
13. tier1.sinks.sink1.channel=channel1  

本次我們把log4j的日誌直接採集輸出到hdfs中去。需要修改flume.conf中sink的配置：

1. tier1.sources=source1  
2. tier1.channels=channel1  
3. tier1.sinks=sink1  
4. tier1.sources.source1.type=avro  
5. tier1.sources.source1.bind=0.0.0.0  
6. tier1.sources.source1.port=44444  
7. tier1.sources.source1.channels=channel1  
8. tier1.channels.channel1.type=memory  
9. tier1.channels.channel1.capacity=10000  
10. tier1.channels.channel1.transactionCapacity=1000  
11. tier1.channels.channel1.keep-alive=30  
12. tier1.sinks.sink1.type=hdfs  
13. tier1.sinks.sink1.channel=channel1  
14. tier1.sinks.sink1.hdfs.path=hdfs://master68:8020/flume/events  
15. tier1.sinks.sink1.hdfs.fileType=DataStream  
16. tier1.sinks.sink1.hdfs.writeFormat=Text  
17. tier1.sinks.sink1.hdfs.rollInterval=0  
18. tier1.sinks.sink1.hdfs.rollSize=10240  
19. tier1.sinks.sink1.hdfs.rollCount=0  
20. tier1.sinks.sink1.hdfs.idleTimeout=60  

簡單說明一下修改的部分，我們將sink的type由logger變為hdfs，然後指定輸出path, 預設是輸出到HDFS後為sequencefile,裡面的內容無法直接開啟瀏覽，為了便於直觀看到我們輸出的日誌資訊，所以我這裡將fileType為DataStream, writeFormat=Text,這樣就可以直接開啟生成的檔案進行查看了。

下面幾個roll開頭的引數都是用來控制滾動日誌輸出的，官方文件上的說明也很詳細，我這裡配置的只按檔案大小來滾動rollSize=10240,也就是10K滾動生成一個新的檔案用來接收新的EVENTS。實際中這個Size應該更大一些，我覺得設定成HDFS的blocksize大小應該挺合適的。

idleTimeout設定為60秒（預設值為0），這裡面的原理是這樣的，flume裡面每生成一個接收檔案時的命名規則如：FlumeData.1406251462179.tmp，.tmp表示這個檔案正在被使用來接收EVENTS，當滿10K之後，這個檔案會被rename成FlumeData.1406251462179，把.tmp字尾去掉，但是如果你停止了應用程式後，FlumeData.1406251462179.tmp還沒滿10K，按照預設的idleTimeout設定，不會將它rename,也就是.tmp字尾一直在，造成了這個檔案一直在使用當中的一個假象，這是有問題的，我們設定idleTimeout=60，即60秒後這個檔案還沒有被寫入資料，就會關閉它然後rename它去掉.tmp,以後新進來的events，會新開一個.tmp檔案來接收。

我們再執行第一篇文章中的那個示例應用程式，然後去path指定的目錄下面就能看到log4j輸出的日誌資訊了。

補充注意點（針對cm安裝的flume）：

首先在hdfs上建立/flume目錄：hadoop fs -mkdir /flume
給該目錄授權給flume使用者和組：hadoop fs -chown -R flume:flume /flume

注意給目錄授權很重要，不然會報錯。