4.flume實戰(一)
阿新 • • 發佈:2018-11-08
需求:從指定網路埠採集資料輸出到控制檯
使用flume的關鍵就是寫配置檔案
a)配置source
b)配置channel
c)配置sink
d)把以上三個元件串起來
我們看一下官網給的配置檔案
# example.conf: A single-node Flume configuration # a1:agent的名稱 # r1:source的名稱 # k1:sink的名稱 # c1:channel的名稱 # Name the components on this agent a1.sources = r1 # 指定source a1.sinks = k1 # 指定sink a1.channels = c1 # 指定channel # 這裡指定的只有一個 # Describe/configure the source # 這個agent有多個source,我們指定source的型別為netcat,繫結到localhost,我這裡也可以寫成ubuntu,可以通過hostname檢視,監聽埠為44444 a1.sources.r1.type = netcat a1.sources.r1.bind = localhost a1.sources.r1.port = 44444 # Describe the sink # 表示將logger輸出到控制檯 a1.sinks.k1.type = logger # Use a channel which buffers events in memory # 使用channel存到記憶體當中 a1.channels.c1.type = memory a1.channels.c1.capacity = 1000 a1.channels.c1.transactionCapacity = 100 # Bind the source and sink to the channel # 把以上三個元件串起來 # 一個source可以接收不同的資料來源 a1.sources.r1.channels = c1 # 但是sink只能sink到一個地方去 a1.sinks.k1.channel = c1