2. 程式人生 > >kafka非常詳細的經典教程

kafka非常詳細的經典教程

阿新 • • 發佈：2019-02-11
一、基本概念

介紹

Kafka是一個分散式的、可分割槽的、可複製的訊息系統。它提供了普通訊息系統的功能，但具有自己獨特的設計。

這個獨特的設計是什麼樣的呢？

首先讓我們看幾個基本的訊息系統術語：
Kafka將訊息以topic為單位進行歸納。
將向Kafka topic釋出訊息的程式成為producers.
將預訂topics並消費訊息的程式成為consumer.
Kafka以叢集的方式執行，可以由一個或多個服務組成，每個服務叫做一個broker.
producers通過網路將訊息傳送到Kafka叢集，叢集向消費者提供訊息，如下圖所示：

 

客戶端和服務端通過TCP協議通訊。Kafka提供了Java客戶端，並且對多種語言都提供了支援。



Topics 和Logs

先來看一下Kafka提供的一個抽象概念:topic.
一個topic是對一組訊息的歸納。對每個topic，Kafka 對它的日誌進行了分割槽，如下圖所示：
 

每個分割槽都由一系列有序的、不可變的訊息組成，這些訊息被連續的追加到分割槽中。分割槽中的每個訊息都有一個連續的序列號叫做offset,用來在分割槽中唯一的標識這個訊息。
在一個可配置的時間段內，Kafka叢集保留所有釋出的訊息，不管這些訊息有沒有被消費。比如，如果訊息的儲存策略被設定為2天，那麼在一個訊息被髮布的兩天時間內，它都是可以被消費的。之後它將被丟棄以釋放空間。Kafka的效能是和資料量無關的常量級的，所以保留太多的資料並不是問題。


實際上每個consumer唯一需要維護的資料是訊息在日誌中的位置，也就是offset.這個offset有consumer來維護：一般情況下隨著consumer不斷的讀取訊息，這offset的值不斷增加，但其實consumer可以以任意的順序讀取訊息，比如它可以將offset設定成為一箇舊的值來重讀之前的訊息。

以上特點的結合，使Kafka consumers非常的輕量級：它們可以在不對叢集和其他consumer造成影響的情況下讀取訊息。你可以使用命令列來"tail"訊息而不會對其他正在消費訊息的consumer造成影響。

將日誌分割槽可以達到以下目的：首先這使得每個日誌的數量不會太大，可以在單個服務上儲存。另外每個分割槽可以單獨釋出和消費，為併發操作topic提供了一種可能。


分散式

每個分割槽在Kafka叢集的若干服務中都有副本，這樣這些持有副本的服務可以共同處理資料和請求，副本數量是可以配置的。副本使Kafka具備了容錯能力。
每個分割槽都由一個伺服器作為“leader”，零或若干伺服器作為“followers”,leader負責處理訊息的讀和寫，followers則去複製leader.如果leader down了，followers中的一臺則會自動成為leader。叢集中的每個服務都會同時扮演兩個角色：作為它所持有的一部分分割槽的leader，同時作為其他分割槽的followers，這樣叢集就會據有較好的負載均衡。

Producers

Producer將訊息釋出到它指定的topic中,並負責決定釋出到哪個分割槽。通常簡單的由負載均衡機制隨機選擇分割槽，但也可以通過特定的分割槽函式選擇分割槽。使用的更多的是第二種。


Consumers

釋出訊息通常有兩種模式：佇列模式（queuing）和釋出-訂閱模式(publish-subscribe)。佇列模式中，consumers可以同時從服務端讀取訊息，每個訊息只被其中一個consumer讀到；釋出-訂閱模式中訊息被廣播到所有的consumer中。Consumers可以加入一個consumer 組，共同競爭一個topic，topic中的訊息將被分發到組中的一個成員中。同一組中的consumer可以在不同的程式中，也可以在不同的機器上。如果所有的consumer都在一個組中，這就成為了傳統的佇列模式，在各consumer中實現負載均衡。如果所有的consumer都不在不同的組中，這就成為了釋出-訂閱模式，所有的訊息都被分發到所有的consumer中。更常見的是，每個topic都有若干數量的consumer組，每個組都是一個邏輯上的“訂閱者”，為了容錯和更好的穩定性，每個組由若干consumer組成。這其實就是一個釋出-訂閱模式，只不過訂閱者是個組而不是單個consumer。

 

由兩個機器組成的叢集擁有4個分割槽 (P0-P3) 2個consumer組. A組有兩個consumerB組有4個

相比傳統的訊息系統，Kafka可以很好的保證有序性。
傳統的佇列在伺服器上儲存有序的訊息，如果多個consumers同時從這個伺服器消費訊息，伺服器就會以訊息儲存的順序向consumer分發訊息。雖然伺服器按順序釋出訊息，但是訊息是被非同步的分發到各consumer上，所以當訊息到達時可能已經失去了原來的順序，這意味著併發消費將導致順序錯亂。為了避免故障，這樣的訊息系統通常使用“專用consumer”的概念，其實就是隻允許一個消費者消費訊息，當然這就意味著失去了併發性。

在這方面Kafka做的更好，通過分割槽的概念，Kafka可以在多個consumer組併發的情況下提供較好的有序性和負載均衡。將每個分割槽分只分發給一個consumer組，這樣一個分割槽就只被這個組的一個consumer消費，就可以順序的消費這個分割槽的訊息。因為有多個分割槽，依然可以在多個consumer組之間進行負載均衡。注意consumer組的數量不能多於分割槽的數量，也就是有多少分割槽就允許多少併發消費。

Kafka只能保證一個分割槽之內訊息的有序性，在不同的分割槽之間是不可以的，這已經可以滿足大部分應用的需求。如果需要topic中所有訊息的有序性，那就只能讓這個topic只有一個分割槽，當然也就只有一個consumer組消費它。

###########################################

二、環境搭建


Step 1: 下載Kafka

點選下載最新的版本並解壓.

  1. > tar -xzf kafka_2.9.2-0.8.1.1.tgz
  2. > cd kafka_2.9.2-0.8.1.1
複製程式碼


Step 2: 啟動服務

Kafka用到了Zookeeper，所有首先啟動Zookper，下面簡單的啟用一個單例項的Zookkeeper服務。可以在命令的結尾加個&符號，這樣就可以啟動後離開控制檯。
  1. > bin/zookeeper-server-start.sh config/zookeeper.properties &
  2. [2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
  3. ...
複製程式碼

現在啟動Kafka:
  1. > bin/kafka-server-start.sh config/server.properties
  2. [2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
  3. [2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
  4. ...
複製程式碼

Step 3: 建立 topic

建立一個叫做“test”的topic，它只有一個分割槽，一個副本。
  1. > bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
複製程式碼

可以通過list命令檢視建立的topic:
  1. > bin/kafka-topics.sh --list --zookeeper localhost:2181
  2. test
複製程式碼

除了手動建立topic，還可以配置broker讓它自動建立topic.

Step 4:傳送訊息.

Kafka 使用一個簡單的命令列producer，從檔案中或者從標準輸入中讀取訊息併發送到服務端。預設的每條命令將傳送一條訊息。

執行producer並在控制檯中輸一些訊息，這些訊息將被髮送到服務端：
  1. > bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test 
  2. This is a messageThis is another message
複製程式碼

ctrl+c可以退出傳送。

Step 5: 啟動consumer

Kafka also has a command line consumer that will dump out messages to standard output.
Kafka也有一個命令列consumer可以讀取訊息並輸出到標準輸出：
  1. > bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
  2. This is a message
  3. This is another message
複製程式碼

你在一個終端中執行consumer命令列，另一個終端中執行producer命令列，就可以在一個終端輸入訊息，另一個終端讀取訊息。
這兩個命令都有自己的可選引數，可以在執行的時候不加任何引數可以看到幫助資訊。

Step 6: 搭建一個多個broker的叢集

剛才只是啟動了單個broker，現在啟動有3個broker組成的叢集，這些broker節點也都是在本機上的：
首先為每個節點編寫配置檔案：

  1. > cp config/server.properties config/server-1.properties
  2. > cp config/server.properties config/server-2.properties
複製程式碼

在拷貝出的新檔案中新增以下引數：
  1. config/server-1.properties:
  2.     broker.id=1
  3.     port=9093
  4.     log.dir=/tmp/kafka-logs-1
複製程式碼

  1. config/server-2.properties:
  2.     broker.id=2
  3.     port=9094
  4.     log.dir=/tmp/kafka-logs-2
複製程式碼

broker.id在叢集中唯一的標註一個節點，因為在同一個機器上，所以必須制定不同的埠和日誌檔案，避免資料被覆蓋。

We already have Zookeeper and our single node started, so we just need to start the two new nodes:
剛才已經啟動可Zookeeper和一個節點，現在啟動另外兩個節點：
  1. > bin/kafka-server-start.sh config/server-1.properties &
  2. ...
  3. > bin/kafka-server-start.sh config/server-2.properties &
  4. ...
複製程式碼

建立一個擁有3個副本的topic:
  1. > bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
複製程式碼

現在我們搭建了一個叢集，怎麼知道每個節點的資訊呢？執行“"describe topics”命令就可以了：
  1. > bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
複製程式碼
  1. Topic:my-replicated-topic       PartitionCount:1        ReplicationFactor:3     Configs:
  2.         Topic: my-replicated-topic      Partition: 0    Leader: 1       Replicas: 1,2,0 Isr: 1,2,0
複製程式碼

下面解釋一下這些輸出。第一行是對所有分割槽的一個描述，然後每個分割槽都會對應一行，因為我們只有一個分割槽所以下面就只加了一行。
leader：負責處理訊息的讀和寫，leader是從所有節點中隨機選擇的.
replicas：列出了所有的副本節點，不管節點是否在服務中.
isr：是正在服務中的節點.
在我們的例子中，節點1是作為leader執行。
向topic傳送訊息：

  1. > bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic
複製程式碼
  1. ...
  2. my test message 1my test message 2^C
複製程式碼

消費這些訊息：
  1. > bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
複製程式碼
  1. ...
  2. my test message 1
  3. my test message 2
  4. ^C
複製程式碼

測試一下容錯能力.Broker 1作為leader執行，現在我們kill掉它：
  1. > ps | grep server-1.properties7564 ttys002    0:15.91 /System/Library/Frameworks/JavaVM.framework/Versions/1.6/Home/bin/java...
  2. > kill -9 7564
複製程式碼

另外一個節點被選做了leader,node 1 不再出現在 in-sync 副本列表中：
  1. > bin/kafka-topics.sh --describe --zookeeper localhost:218192 --topic my-replicated-topic
  2. Topic:my-replicated-topic       PartitionCount:1        ReplicationFactor:3     Configs:
  3.         Topic: my-replicated-topic      Partition: 0    Leader: 2       Replicas: 1,2,0 Isr: 2,0
複製程式碼

雖然最初負責續寫訊息的leader down掉了，但之前的訊息還是可以消費的：
  1. > bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
  2. ...
  3. my test message 1
  4. my test message 2
複製程式碼


看來Kafka的容錯機制還是不錯的。

################################################

三、搭建Kafka開發環境

我們搭建了kafka的伺服器，並可以使用Kafka的命令列工具建立topic，傳送和接收訊息。下面我們來搭建kafka的開發環境。
新增依賴

搭建開發環境需要引入kafka的jar包，一種方式是將Kafka安裝包中lib下的jar包加入到專案的classpath中，這種比較簡單了。不過我們使用另一種更加流行的方式：使用maven管理jar包依賴。
建立好maven專案後，在pom.xml中新增以下依賴：

  1. <dependency>
  2.         <groupId> org.apache.kafka</groupId >
  3.         <artifactId> kafka_2.10</artifactId >
  4.         <version> 0.8.0</ version>
  5. </dependency>
複製程式碼
新增依賴後你會發現有兩個jar包的依賴找不到。沒關係我都幫你想好了，點選這裡下載這兩個jar包，解壓後你有兩種選擇，第一種是使用mvn的install命令將jar包安裝到本地倉庫，另一種是直接將解壓後的資料夾拷貝到mvn本地倉庫的com資料夾下，比如我的本地倉庫是d:\mvn,完成後我的目錄結構是這樣的：

 


配置程式

首先是一個充當配置檔案作用的介面,配置了Kafka的各種連線引數：
  1. package com.sohu.kafkademon;
  2. public interface KafkaProperties
  3. {

  4. 相關推薦

    kafka非常詳細的經典教程

    一、基本概念介紹Kafka是一個分散式的、可分割槽的、可複製的訊息系統。它提供了普通訊息系統的功能，但具有自己獨特的設計。這個獨特的設計是什麼樣的呢？首先讓我們看幾個基本的訊息系統術語：Kafka將訊息以topic為單位進行歸納。將向Kafka topic釋出訊息的程式成為producers.將預訂topic

    kafka 學習 非常詳細的經典教程

    一、基本概念 介紹 Kafka是一個分散式的、可分割槽的、可複製的訊息系統。它提供了普通訊息系統的功能，但具有自己獨特的設計。 這個獨特的設計是什麼樣的呢？ 首先讓我們看幾個基本的訊息系統術語： Kafka將訊息以topic為單位進行歸納。 將

    【轉】讓你不再害怕指針——C指針詳解(經典,非常詳細)

    有一個 情況 value 第一個字符 接下來 意思 strcpy abcdefg 數值 前言:復雜類型說明 要了解指針,多多少少會出現一些比較復雜的類型,所以我先介紹一下如何完全理解一個復雜類型,要理解復雜類型其實很簡單,一個類型裏會出現很多運算符,他們也像普通的表

    讓你不再害怕指針——C指針詳解(經典,非常詳細)

    [0 返回 hello spa 程序 string 和數 過程 建議 http://blog.csdn.net/soonfly/article/details/51131141 前言:復雜類型說明 要了解指針,多多少少會出現一些比較復雜的類型,所以我先介紹一下如何完

    Kafka入門經典教程

    pom.xml shm partition 讀寫操作 ext xtend -a 精確 提高 一、基本概念 介紹 Kafka是一個分布式的、可分區的、可復制的消息系統。它提供了普通消息系統的功能，但具有自己獨特的設計。 這個獨特的設計是什麽樣的呢？ 首先讓我們看幾個基本的消息

    非常詳細的Docker極速賽車平臺搭建教程

    模式 image 輕量 都是 內部 賽車 主機 新的 虛擬 一、Docker 極速賽車平臺搭建簡介 Docker 兩個主要部件：企 娥:217 1793 408 Docker: 開源的容器虛擬化平臺Docker Hub: 用於分享、管理 Docker 容器的 Docker

    kafka 的經典教程

    解析 cal 代碼 磁盤 簡單 目錄結構 運行 imessage back 一、基本概念介紹Kafka是一個分布式的、可分區的、可復制的消息系統。它提供了普通消息系統的功能，但具有自己獨特的設計。這個獨特的設計是什麽樣的呢？首先讓我們看幾個基本的消息系統術語：Kafka將消

    [入門幫助] Kafka入門經典教程

    一行 單獨 Kafka集群 oom 網卡接口 分布式系 服務端 怎樣 工作 問題導讀1.Kafka獨特設計在什麽地方？2.Kafka如何搭建及創建topic、發送消息、消費消息？3.如何書寫Kafka程序？4.數據傳輸的事務定義有哪三種？5.Kafka判斷一個節點是否活著有

    jadx反編譯—下載和使用（傻瓜教程，非常詳細）

    一、在GitHub上直接下載 https://github.com/skylot/jadx 可以下這個版本： 二、執行圖形化介面 1、將zip檔案解壓後定位到在lib資料夾中，在此處開啟命令列 2、執行jadx-gui-0.7.1.jar（前提是已經裝好了JDK1

    Pycharm使用教程（非常詳細，非常實用）

    知了課堂Pycharm使用教程 1、 Jetbrains家族和Pycharm版本劃分： pycharm是Jetbrains家族中的一個明星產品，Jetbrains開發了許多好用的編輯器，包括Java編輯器（

    C語言指標詳解(經典,非常詳細)

    C語言指標詳解(經典,非常詳細) 前言:複雜型別說明     要了解指標,多多少少會出現一些比較複雜的型別,所以我先介紹一下如何完全理解一個複雜型別,要理解複雜型別其實很簡單,一個型別裡會出現很多運算子,他們也像普通的表示式一樣,有優先順序,其優先順序和運算優先

    Python程式設計入門電子書及視訊教程-非常詳細『強烈推薦』

    這裡給初學Python的朋友提供一些建議和指導吧。大神請無視，俗話說：授人以魚不如授人以漁。所以我這裡只是闡述學習過程，並不會直接詳細寫某個知識點，畢竟程式設計的東西很多都是靠自學，靠自己的，只要大家足夠努力肯定沒問題的，多點敲程式碼。具體的應用部分--資料分析，網路爬蟲我後續會繼續寫的，如需獲取更多學習建議

    Linux makefile 教程 非常詳細，且易懂

    最近在學習Linux下的C程式設計，買了一本叫《Linux環境下的C程式設計指南》讀到makefile就越看越迷糊，可能是我的理解能不行。             於是google到了以下這篇文章。通俗易懂。然後把它貼出來，方便學習。            後記，看完發現

    2018年9月蘋果ios退款全部可用流程教程，非常詳細一看就懂，大家快進來看看

    蘋果iOS內購退款2018年1月份開始相信大家都感覺得到他的退款金額和時間都被減少壓縮了，臨近過年了，很多遊戲開發商對蘋果公司的抱怨一直沒停，都要求蘋果公司把退款這樣機制取消，嚴重影響了他們的收益。蘋果公司在多個遊戲公司巨頭的施壓之下，也對退款這方面的要求進行了

    搭建kafka叢集詳細教程

    kafka叢集搭建 網路上的部落格質量參差不齊，對新手很不友好，我參考了一些部落格文件後，重新寫了一遍kafka的搭建教程，包括zookeeper的搭建教程，還附上了遇到的一些常見錯誤的解決方案。 我使用了3臺虛擬機器，因為kafka需要zookeeper的支援，所以虛擬機

    讓你不再害怕指標——C指標詳解(經典,非常詳細)

    前言:複雜型別說明     要了解指標,多多少少會出現一些比較複雜的型別,所以我先介紹一下如何完全理解一個複雜型別,要理解複雜型別其實很簡單,一個型別裡會出現很多運算子,他們也像普通的表示式一樣,有優先順序,其優先順序和運算優先順序一樣,所以我總結了一下其原則:從變數名處起

    蘋果ios退款全部可用流程教程，非常詳細一看就懂，大家快進來看看

    今天我用幾個小時時間來寫一個對大家有用的東西，大家一定要認真看完，不然你衝遊戲的錢一分都退不出，因為現在很多遊戲公司就是騙子，開始出來的時候就引誘你大量的充錢，最後遊戲出現很多漏洞，遊戲體驗不好就算了，錢還被遊戲給吃了，所有今天我開始講一些最重要的東西給大家，這

    kafka 學習 詳細教程

    一、基本概念 介紹 Kafka是一個分散式的、可分割槽的、可複製的訊息系統。它提供了普通訊息系統的功能，但具有自己獨特的設計。 這個獨特的設計是什麼樣的呢？ 首先讓我們看幾個基本的訊息系統術語： Kafka將訊息以topic為單位進行歸納。 將向Kafka topic釋出訊息

    非常詳細的Docker學習教程

    一、Docker 簡介 Docker 兩個主要部件： Docker: 開源的容器虛擬化平臺 Docker Hub: 用於分享、管理 Docker 容器的 Docker SaaS 平臺 -- Docker Hub Docker 使用客戶端-伺服器 (C/S) 架構模式。

    草圖大師 2018 中文版 破解安裝教程/ sketchup pro 2018（非常詳細看了一定會）

    草圖大師2018是谷歌公司推出的一款環保型3D建模軟體，英文全稱又叫做sketchup pro 2018。 使用者可以從描繪線條和形狀開始，推拉平面即可將其轉換為3D形式。 通過拉伸、複製、旋轉和著色製作您喜歡的3d模型。新版本的草圖大師2018功能更強大，比如新加入已填充的剖面切割，使用者