日誌採集系統

（管道流方式，提供了很多的預設實現，讓使用者通過引數部署，及擴充套件API.）

1. 可以單獨執行linux命令，作為client將輸出寫入hdfs （例如tail命令）來監聽日誌
2. 可作為server監聽埠，同時作為client將收到資訊寫入hdfs

Cloudera

1. 作為雙server系統，1個server用於獲取資料、另一個用於監聽接入的client的消費資料請求
2. kafka和JMS（Java Message Service）實現(activeMQ)不同的是:即使訊息被消費,訊息仍然不會被立即刪除

flume-ng agent -c conf -f flume-demo-hdfs.conf --name agent1 -Dflume.root.logger=INFO,Console

根據conf檔案配置來配置：

agent1.sources = source1
agent1.sinks = sink1
agent1.channels = channel1
 
agent1.sources.source1.type = exec
agent1.sources.source1.command = tail -f /var/log/1.log
 
agent1.sinks.sink1.type = hdfs
agent1.sinks.sink1.hdfs.path = hdfs://<namenode_server_ip>:8020/flume/test/data
agent1.sinks.sink1.hdfs.filePrefix = events-
agent1.sinks.sink1.hdfs.fileType = DataStream
agent1.sinks.sink1.hdfs.writeFormat = Text
agent1.sinks.sink1.hdfs.roundUnit = minute
 
agent1.channels.channel1.type = memory
agent1.channels.channel1.capacity = 100
agent1.channels.channel1.transactionCapacity = 100
 
agent1.sources.source1.channels = channel1
agent1.sinks.sink1.channel = channel1

建立topic：
kafka-topics --create --zookeeper zookp-server-2:2181 --replication-factor 1 --partitions 1 --topic test2
建立訊息生產者並逐行輸入訊息（開啟後可以用鍵盤輸入，按回車即傳送訊息。注意somehost不能為localhost）：
kafka-console-producer --broker-list somehost:9092 --topic test2
建立消費者並持續接收訊息：
kafka-console-consumer --bootstrap-server somehost:9092 --topic test2 --from-beginning  --zookeeper zookp-server-2:2181

其他命令詳解：Kafka 學習筆記之 Kafka0.11之console-producer/console-consumer: — kafka命令大全 —