問題來源：將所有生產系統產生的日誌檔案匯入到HDFS

解決方案：使用資料收集系統Flume將Linux日誌檔案匯入HDFS，將講解如何在分散式環境中配置Flume，並檢驗Flume的可靠性模式，本文以配置單機為例進行說明。

實施步驟：

1.在偽分散式模型中執行Flume.

 #yum install -y flume flume-master flume-node

安裝完成後，啟動Master和Agent

 #/etc/init.d/flume-master start
 #/etc/init.d/flume-node start

2.格式配置。預設情況下，Flume以Avro JSON格式寫資料，若保留syslog原始格式，那麼需要建立和編輯flume-site.xml檔案。

3.前面已經啟動flume master和Agent結點，另外還需要啟動Collector結點作為Agent結點的資料接收器。

 #flume node nowatch -n collector

需要注意的是：Flume以使用者flume執行，需要確保該使用者具有足夠許可權訪問資料來源檔案（如 /var/log/messages），可通過chmod命令修改許可權，否則資料來源檔案將無法上傳到HDFS。

4.Flume Agent節點配置。訪問http://172.16.24.160:35871/，如下圖所示（已經配置完的結果）：

點選config彈出對話方塊中配置如下：

5.Flume Collector節點配置。點選config彈出對話方塊中配置如下：

6.驗證檔案是否成功上傳到HDFS。