Flume 元件安裝配置

阿新 • • 發佈：2022-05-06

1. 實驗一：Flume 元件安裝配置

1.4.1. 實驗任務一：下載和解壓 Flume

使用 root 使用者解壓 Flume 安裝包到“/usr/local/src”路徑，並修改解壓後文件夾名
為 flume。

[root@master ~]#tar zxvf /opt/software/apache-flume-1.6.0-bin.tar.gz -C /usr/local/src 
 
[root@master ~]#cd /usr/local/src/ 
 
[root@master ~]#mv apache-flume-1.6.0-bin/ flume # 修改Flume安裝路徑資料夾 名稱 [root@master ~]#chown -R hadoop:hadoop flume/ # 修改資料夾歸屬使用者和歸屬組為 hadoop 使用者和 hadoop 組

1.4.2. 實驗任務二：Flume 元件部

1.4.2.1. 步驟一：使用 root 使用者設定 Flume 環境變數，並使環境變數對所有使用者生效

[root@master ~]#vi /etc/profile 			 # 編輯系統環境變數配置檔案
# set flume environment export FLUME_HOME=/usr/local/src/flume  # Flume 安裝路徑 export PATH=$PATH:$FLUME_HOME/bin				 # 新增系統 PATH 環境變數

1.4.2.2. 步驟二：修改 Flume 相應配置檔案。

首先，切換到 hadoop 使用者，並切換當前工作目錄到 Flume 的配置資料夾。

[root@master ~]#su - hadoop 
 
[hadoop@master ~]$source /etc/profile 
 
[hadoop@master ~]$cd /usr/local/src/flume/conf

拷貝 flume-env.sh.template 檔案並重命名為 flume-env.sh。 [

[hadoop@master ~]$cp flume-env.sh.template flume-env.s

1.4.2.3. 步驟三：修改並配置 flume-env.sh 檔案。

刪除 JAVA_HOME 變數前的註釋，修改為 JDK 的安裝路徑。

[hadoop@master ~]$ vi /usr/local/src/flume/conf/flume-env.sh 
# 修改 JAVA_HOME 引數值為 jdk 安裝路徑
export JAVA_HOME=/usr/local/src/jdk1.8.0_152

使用 flume-ng version 命令驗證安裝是否成功，若能夠正常查詢 Flume 元件版本為
1.6.0，則表示安裝成功。

[hadoop@master ~]$ flume-ng version  Flume 1.6.0 
# 查詢到 Flume 版本為 1.6.0 

Source code repository: https://git-wip-us . apache . org/ repos/asf/ flume. git Revision: 2561a23240a71ba20bf288c7c2cda88f443c2080 Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015 From source with checksum b29e416802ce9ece3269d34233baf43f

1.4.3. 實驗任務三：使用 Flume 傳送和接受資訊

通過 Flume 將 Web 伺服器中資料傳輸到 HDFS 中。

1.4.3.1. 步驟一：在 Flume 安裝目錄中建立 simple-hdfs-flume.conf 檔案。

[hadoop@master ~]$ cd /usr/local/src/flume/ [hadoop@master ~]$ vi /usr/local/src/flume/simple-hdfs-flume.conf a1.sources=r1 a1.sinks=k1 a1.channels=c1 a1.sources.r1.type=spooldir a1.sources.r1.spoolDir=/usr/local/src/hadoop/logs/ a1.sources.r1.fileHeader=true a1.sinks.k1.type=hdfs a1.sinks.k1.hdfs.path=hdfs://master:9000/tmp/flume  a1.sinks.k1.hdfs.rollsize=1048760  a1.sinks.k1.hdfs.rollCount=0  a1.sinks.k1.hdfs.rollInterval=900  a1.sinks.k1.hdfs.useLocalTimeStamp=true   a1.channels.c1.type=file  a1.channels.c1.capacity=1000 a1.channels.c1.transactionCapacity=100 a1.sources.r1.channels = c1 a1.sinks.k1.channel = c1

1.4.3.2. 步驟二：使用 flume-ng agent 命令載入 simple-hdfs-flume.conf 配置資訊，啟動 flume 傳輸資料。

[hadoop@master flume] $ flume-ng agent --conf-file simple-hdfs-flume.conf --name a1

1.4.3.3. 步驟三：檢視 Flume 傳輸到 HDFS 的檔案，若能檢視到 HDFS 上/tmp/flume 目錄有傳輸的資料檔案，則表示資料傳輸成功。

[hadoop@master flume] $ hdfs dfs -ls /tmp/f1ume 

# 檢視 HDFS 檔案系統 /tmp/f1ume 目錄下檔案 -rw-r--r--  2 root super group  1325 2019-06-05 11:14 /tmp/f1ume/F lumeData. 1559747635008 -rw-r--r--  2 root super group  1344 2019-06-05 11:14 /tmp/f1ume/F1umeData. 1559747635009 -rw-r--r--  2 root super qroup  1442 2019-06-05 11:14 /tmp/f1ume/F lumeData.1559747635010