轉載自：http://www.jianshu.com/p/263164fdcac7

kafka簡單介紹


Kafka 是 LinkedIn 開源的一種高吞吐量的分散式釋出訂閱訊息系統，kafka的誕生就是為了處理海量日誌資料，所以kafka處理訊息的效率非常高，即使是非常普通的硬體也可以支援每秒數百萬的訊息。
kafka 天然支援叢集負載均衡，使用 zookeeper 進行分散式協調管理。不支援事務，有一定概率丟失訊息。
kafka 的特點，決定了使用場景：日誌中介軟體。


下載docker映象


zookeeker: docker pull zookeeper:latest
kafka: docker pull wurstmeister/kafka:latest


建立並啟動容器


先啟動zookeeper:


docker run -d --name zookeeper --publish 2181:2181 \
--volume /etc/localtime:/etc/localtime \
zookeeper:latest
zookeeper啟動完成後再啟動kafka:


docker run -d --name kafka --publish 9092:9092 \
--link zookeeper \
--env KAFKA_ZOOKEEPER_CONNECT=zookeeper:2181 \
--env KAFKA_ADVERTISED_HOST_NAME=kafka所在宿主機的IP \
--env KAFKA_ADVERTISED_PORT=9092 \
--volume /etc/localtime:/etc/localtime \
wurstmeister/kafka:latest
向kafka傳送測試訊息


執行 docker ps，找到kafka的 CONTAINER ID，執行 docker exec -it ${CONTAINER ID} /bin/bash，進入kafka容器。
進入kafka預設目錄 /opt/kafka_2.11-0.10.1.0，執行 bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic test，建立一個 topic 名稱為 test。
執行 bin/kafka-topics.sh --list --zookeeper zookeeper:2181 檢視當前的 topic 列表。
執行一個訊息生產者，指定 topic 為剛剛建立的 test ， bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test，輸入一些測試訊息。
執行一個訊息消費者，同樣指定 topic 為 test， bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning，可以接收到生產者傳送的訊息。


最後


kafka 環境已經搭建完成，接下來我們要對之前的工程進行改造，使用 log4j2 的 kafka appender 把日誌統一輸出到 kafka 日誌中介軟體。
日誌匯入 kafka 之後，接下來的處理就比較靈活了，可以用不同功能的消費者訂閱感興趣的 topic，進行日誌分析。例如：使用 kafka 作為 storm 的資料來源 spout，進行流式處理；訂閱 kafka 中需要做離線統計處理的 topic，把資料儲存到資料庫，一般是 mongodb 或 hbase 這種資料結構鬆散的 nosql 資料庫；又或者可以使用 flume 或 logstash 這種管道工具，把資料匯入到其他的系統，比如 elasticsearch、 solr 等。
kafka 作為最常用的日誌中介軟體，可以把分散的日誌集中到一處，並做緩衝處理，再和其他開源工具進行整合，對資料做進一步處理，是日誌統計系統的基礎元件。