kafka簡介和使用
1. kafka介紹
1.1.主要功能
根據官網的介紹,ApacheKafka®是一個分散式流媒體平臺,它主要有3種功能:
1:It lets you publish and subscribe to streams of records.釋出和訂閱訊息流,這個功能類似於訊息佇列,這也是kafka歸類為訊息佇列框架的原因
2:It lets you store streams of records in a fault-tolerant way.以容錯的方式記錄訊息流,kafka以檔案的方式來儲存訊息流
3:It lets you process streams of records as they occur.可以再訊息釋出的時候進行處理
1.2. 使用場景
1:Building real-time streaming data pipelines that reliably get data between systems or applications.在系統或應用程式之間構建可靠的用於傳輸實時資料的管道,訊息佇列功能
2:Building real-time streaming applications that transform or react to the streams of data。構建實時的流資料處理程式來變換或處理資料流,資料處理功能
1.3. 詳細介紹
Kafka目前主要作為一個分散式的釋出訂閱式的訊息系統使用,下面簡單介紹一下kafka的基本機制
1.3.1 訊息傳輸流程
Producer即生產者,向Kafka叢集傳送訊息,在傳送訊息之前,會對訊息進行分類,即Topic,上圖展示了兩個producer傳送了分類為topic1的訊息,另外一個傳送了topic2的訊息。
Topic即主題,通過對訊息指定主題可以將訊息分類,消費者可以只關注自己需要的Topic中的訊息
Consumer即消費者,消費者通過與kafka叢集建立長連線的方式,不斷地從叢集中拉取訊息,然後可以對這些訊息進行處理。
從上圖中就可以看出同一個Topic下的消費者和生產者的數量並不是對應的。
1.3.2 kafka伺服器訊息儲存策略
談到kafka的儲存,就不得不提到分割槽,即partitions,建立一個topic時,同時可以指定分割槽數目,分割槽數越多,其吞吐量也越大,但是需要的資源也越多,同時也會導致更高的不可用性,kafka在接收到生產者傳送的訊息之後,會根據均衡策略將訊息儲存到不同的分割槽中。
在每個分割槽中,訊息以順序儲存,最晚接收的的訊息會最後被消費。
1.3.3 與生產者的互動
生產者在向kafka叢集傳送訊息的時候,可以通過指定分割槽來發送到指定的分割槽中
也可以通過指定均衡策略來將訊息傳送到不同的分割槽中
如果不指定,就會採用預設的隨機均衡策略,將訊息隨機的儲存到不同的分割槽中
1.3.4 與消費者的互動
在消費者消費訊息時,kafka使用offset來記錄當前消費的位置。在kafka的設計中,可以有多個不同的group來同時消費同一個topic下的訊息,如圖,我們有兩個不同的group同時消費,他們的的消費的記錄位置offset各不專案,不互相干擾。對於一個group而言,消費者的數量不應該多餘分割槽的數量,因為在一個group中,每個分割槽至多隻能繫結到一個消費者上,即一個消費者可以消費多個分割槽,一個分割槽只能給一個消費者消費。因此,若一個group中的消費者數量大於分割槽數量的話,多餘的消費者將不會收到任何訊息。
2. Kafka安裝與使用
2.1. 下載
你可以在kafka官網 http://kafka.apache.org/downloads下載到最新的kafka安裝包,選擇下載二進位制版本的tgz檔案,根據網路狀態可能需要fq,這裡我們選擇的版本是0.11.0.1,目前的最新版
2.2. 安裝
Kafka是使用scala編寫的執行與jvm虛擬機器上的程式,雖然也可以在windows上使用,但是kafka基本上是執行在linux伺服器上,因此我們這裡也使用linux來開始今天的實戰。
首先確保你的機器上安裝了jdk,kafka需要java執行環境,以前的kafka還需要zookeeper,新版的kafka已經內建了一個zookeeper環境,所以我們可以直接使用
說是安裝,如果只需要進行最簡單的嘗試的話我們只需要解壓到任意目錄即可,這裡我們將kafka壓縮包解壓到/home目錄
2.3. 配置
在kafka解壓目錄下下有一個config的資料夾,裡面放置的是我們的配置檔案
consumer.properites 消費者配置,這個配置檔案用於配置於2.5節中開啟的消費者,此處我們使用預設的即可
producer.properties 生產者配置,這個配置檔案用於配置於2.5節中開啟的生產者,此處我們使用預設的即可
server.properties kafka伺服器的配置,此配置檔案用來配置kafka伺服器,目前僅介紹幾個最基礎的配置
- broker.id 申明當前kafka伺服器在叢集中的唯一ID,需配置為integer,並且叢集中的每一個kafka伺服器的id都應是唯一的,我們這裡採用預設配置即可
- listeners 申明此kafka伺服器需要監聽的埠號,如果是在本機上跑虛擬機器執行可以不用配置本項,預設會使用localhost的地址,如果是在遠端伺服器上執行則必須配置,例如:listeners=PLAINTEXT:// 192.168.180.128:9092。並確保伺服器的9092埠能夠訪問
- zookeeper.connect 申明kafka所連線的zookeeper的地址 ,需配置為zookeeper的地址,由於本次使用的是kafka高版本中自帶zookeeper,使用預設配置即可zookeeper.connect=localhost:2181
2.4. 執行
- 啟動zookeeper
cd進入kafka解壓目錄,輸入
bin/zookeeper-server-start.sh config/zookeeper.properties
啟動zookeeper成功後會看到如下的輸出
2.啟動kafka
cd進入kafka解壓目錄,輸入
bin/kafka-server-start.sh config/server.properties
啟動kafka成功後會看到如下的輸出
2.5. 第一個訊息
1 . 建立一個topic
Kafka通過topic對同一類的資料進行管理,同一類的資料使用同一個topic可以在處理資料時更加的便捷
在kafka解壓目錄開啟終端,輸入
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
建立一個名為test的topic
建立topic後可以通過輸入
bin/kafka-topics.sh --list --zookeeper localhost:2181
來檢視已經建立的topic
2.
建立一個訊息消費者
在kafka解壓目錄開啟終端,輸入
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
可以建立一個用於消費topic為test的消費者
消費者建立完成之後,因為還沒有傳送任何資料,因此這裡在執行後沒有打印出任何資料
不過彆著急,不要關閉這個終端,開啟一個新的終端,接下來我們建立第一個訊息生產者
3 建立一個訊息生產者
在kafka解壓目錄開啟一個新的終端,輸入
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic
test
在執行完畢後會進入的編輯器頁面
在傳送完訊息之後,可以回到我們的訊息消費者終端中,可以看到,終端中已經打印出了我們剛才傳送的訊息