【圖文詳細 】Flume 資料採集元件——實戰案例
阿新 • • 發佈:2018-12-18
5、Flume 實戰案例
5.1、安裝部署 Flume
1、Flume 的安裝非常簡單,只需要解壓即可,當然,前提是已有 Hadoop 環境上傳安裝包到 資料來源所在節點上 然後解壓 tar -zxvf apache-flume-1.8.0-bin.tar.gz 然後進入 flume 的目錄,修改 conf 下的 flume-env.sh,在裡面配置 JAVA_HOME
2、根據資料採集的需求配置採集方案,描述在配置檔案中(檔名可任意自定義)
3、指定採集方案配置檔案,在相應的節點上啟動 flume agent
先用一個最簡單的例子來測試一下程式環境是否正常
1、在$FLUME_HOME/agentconf 目錄下建立一個數據採集方案,該方案就是從一個網路埠 收集資料,也就是創一個任意命名的配置檔案如下:netcat-logger.properties 檔案內容如下:
2、啟動 agent 去採集資料: 在$FLUME_HOME 下執行如下命令:
更多 Sources:http://flume.apache.org/FlumeUserGuide.html#flume-sources
更多 Channels:http://flume.apache.org/FlumeUserGuide.html#flume-channels
更多 Sinks:http://flume.apache.org/FlumeUserGuide.html#flume-sinks