一、如何使用flume將檔案存到hdfs

簡單例子：

#set name

agent1.sources = source1

agent1.channels = channel1

agent1.sinks = sink1

#link sources and sinks

agent1.sources.source1.channels = channel1

agent1.sinks.sink1.channel = channel1

#set sources

agent1.sources.source1.type = spooldir

agent1.sources.source1.spoolDir = 監控路徑

#set sinks 、necessary set in this example

agent1.sinks.sink1.type = hdfs

agent1.sinks.sink1.hdfs.path = 儲存到hdfs的路徑

#not necessary set in this example

agent1.sinks.sink1.hdfs.filePrefix = events

agent1.sinks.sink1.hdfs.fileSuffix = .log

#下面這個屬性預設為空

agent1.sinks.sink1.inUsePrefix = _

agent1.sinks.sink1.hdfs.fileType = DataStream

#set channels

agent1.channels.channel1.type = file 
 

啟動這個flume代理，可以將監控路徑下的檔案通過channel傳輸到hdfs.path屬性的路徑中。

上面這個例子使用了一些預設配置。包括在超過了給定的開啟時間（預設30s）之後，會將開啟的檔案通過channel傳輸到sink。這裡會存在一個問題-》可能生成的內容太少了，每次都往hdfs中傳輸大量的小檔案，降低了mapreduce效率。

解決方式：

    第一個：

        hdfs.rollInterval屬性設定開啟時間，使時間足夠長，獲取足夠多的內容。

    第二個：

        hdfs.rollSize屬性設定檔案大小，當檔案達到一定的大小的時候才傳輸（預設1024個位元組）

    第三個：

        hdfs.rollCount屬性設定接受的事件數目，當檔案寫滿了給定數量的事件之後才傳輸。