使用更改後的TaildirSource，可以遞迴地監聽配置目錄的動態變化的檔案。

需求描述

使用了SpoolDirectorySource可以配置一個監聽目錄，會監聽該目錄下所有的檔案，但是如果配置目錄下面嵌套了子目錄，則無法監聽，通過修改原始碼，我們可以遞迴地對配置目錄的所有子目錄的所有檔案進行監聽，見上一篇文章 Flume的Spooling Directory Source支援Sub-directories

但是，SpoolDirectorySource的一個限制還沒有消除，即監聽目錄下的檔案不允許動態變化。比如我在收集yarn的nodemanager的日誌時候，發現監聽目錄下面的檔案是動態追加的，而不是先生成一個.tmp

這有點像：ExecSource + SpoolDirectorySource 的一個source

解決方案

先看看能否踩在巨人的肩膀上，檢視flume1.7.0的 realease note ，發現增加了一個Taildir Source，點進去發現，這不就是我們需要的嗎！

我貼一下官方的description：

Description
This is the proposal of implementing a new tailing source.
This source watches the
 
 specified files, and tails them in nearly real-time once appends are detected to these files.
This source is reliable and will not miss data even when the tailing files rotate.
It periodically writes the last read position of each file in a position file using the JSON format.
If Flume is stopped or
 
 down for some reason, it can restart tailing from the position written on the existing position file.
It can add event headers to each tailing file group.
A attached patch includes a config documentation of this.
This source requires Unix-style file system and Java 1.7 or later.

好，有了它，下面就有兩種解決方案：
1. 直接使用flume1.7.0
2. 將該feature增加到flume1.6.0中

由於我們已經對flume1.6.0做了比較大的改動，所以顯然需要第二種方案。

整合過程中主要改動的是兩個module
1. 將flume-taildir-source新增到flume-ng-sources
2. 編譯根據提示一步一步修改flume-ng-core下的部分檔案

增加遞迴監聽子目錄的特性

貼一下TaildirSource的配置：

    # source2: tail_dir_source -----------------
    agent.sources.tail_dir_source.type = org.apache.flume.source.taildir.TaildirSource
    agent.sources.tail_dir_source.channels = memory_channel
    agent.sources.tail_dir_source.positionFile = /tmp/taildir_position.json
    agent.sources.tail_dir_source.filegroups = f1
    agent.sources.tail_dir_source.filegroups.f1 = /home/urey/yarn_log/.*
    agent.sources.tail_dir_source.batchSize = 100
    agent.sources.tail_dir_source.backoffSleepIncrement  = 1000
    agent.sources.tail_dir_source.maxBackoffSleep  = 5000
    agent.sources.tail_dir_source.recursiveDirectorySearch = true
    agent.sources.tail_dir_source.yarnApplicationHeader = true
    agent.sources.tail_dir_source.yarnContainerHeader = true

類似SpoolDirectorySource增加該feature所做的工作，我們最後還需要給TaildirSource增加該feature以滿足我們的需求。

改動類似《Flume的Spooling Directory Source支援Sub-directories》所涉及到，需要注意的是，
filegroups可以指定多個監聽源，每個源指定相應的監聽路徑下面的哪些檔案，這裡的下面經過改動後會遞迴地包含下面的所有子目錄。

比如：
配置了/home/urey/yarn_log/.*，會監聽：

/home/urey/yarn_log/test1.log
/home/urey/yarn_log/dir1/test2.log
/home/urey/yarn_log/dir1/dir2/test3.log
...
等等

最新的程式碼我已上傳到github上，歡迎試用：

注：
由於flume1.7.0本身還沒有釋出，所以TaildirSource可能存在缺陷，如果遇到問題，需要通過檢視日誌定位問題，看社群是否有相應的issue和解決方案。