1. 程式人生 > >Linux下的Kafka配置步驟

Linux下的Kafka配置步驟

Kafka叢集配置比較簡單,為了更好的讓大家理解,在這裡要分別介紹下面三種配置

  • 單節點:一個broker的叢集
  • 單節點:多個broker的叢集
  • 多節點:多broker叢集

一、單節點單broker例項的配置

Zookeeper 管理Kafka Producer和Consumer

1. 首先啟動zookeeper服務

必須使用root使用者啟動kafka
Kafka本身提供了啟動zookeeper的指令碼(在kafka/bin/目錄下)和zookeeper配置檔案(在kafka/config/目錄下),首先進入Kafka的主目錄(可通過 whereis kafka命令查詢到):

[root@localhost kafka-0.8]# bin/zookeeper-server-start.sh config/zookeeper.properties
zookeeper配置檔案的一些重要屬性: # Data directory where the zookeeper snapshot is stored. dataDir=/tmp/zookeeper # The port listening for client request clientPort=2181 預設情況下,zookeeper伺服器會監聽 2181埠,更詳細的資訊可去zookeeper官網查閱。

2. 啟動Kafka broker

執行kafka提供的啟動kafka服務指令碼即可:

[root@localhost kafka-0.8]# bin/kafka-server-start.sh config/server.properties
broker配置檔案中的重要屬性: # broker的id. 每個broker的id必須是唯一的. Broker.id=0 # 存放log的目錄 log.dir=/tmp/kafka8-logs # Zookeeper 連線串 zookeeper.connect=localhost:2181

3. 建立一個僅有一個Partition的topic

    [[email protected] kafka-0.8]# bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic kafkatopic

4. 用Kafka提供的生產者客戶端啟動一個生產者程序來發送訊息

    [[email protected] kafka-0.8]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafkatopic

其中有兩個引數需要注意:

  • broker-list:定義了生產者要推送訊息的broker地址,以

5. 啟動一個Consumer例項來消費訊息

    [[email protected] kafka-0.8]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning

當你執行這個命令之後,你便可以看到控制檯上打印出的生產者生產的訊息:
這裡寫圖片描述

和消費者相關的屬性配置存放在Consumer.properties檔案中,重要的屬性有:
# consumer的group id (A string that uniquely identifies a set of consumers
# within the same consumer group)
groupid=test-consumer-group
# zookeeper 連線串
zookeeper.connect=localhost:2181

二、單節點執行多broker例項

前面的步驟和單節點執行但broker例項一樣

1、啟動zookeeper

2、啟動Kafka的broker

要想在一臺機器上啟動多個broker例項,只需要準備多個server.properties檔案即可,比如我們要在一臺機器上啟動兩個broker:
首先我們要準備兩個server.properties配置檔案

server-1
brokerid=1
port=9092
log.dir=/temp/kafka8-logs/broker1    
server-2
brokerid=2
port=9093
log.dir=/temp/kafka8-logs/broker2 

然後我們再用這兩個配置檔案分別啟動一個broker

[root@localhost kafka-0.8]# env JMX_PORT=9999 bin/kafka-server-start.sh config/server-1.properties
[root@localhost kafka-0.8]# env JMX_PORT=10000 bin/kafka-server-start.sh config/server-2.properties

可以看到我們啟動是為每個broker都指定了不同的JMX Port,JMX Port主要用來利用jconsole等工具進行監控和排錯

3.建立一個topic

現在我們要建立一個含有兩個Partition分割槽和2個備份的broker:

 [[email protected] kafka-0.8]# bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 2 --partition 2 --topic othertopic

4.啟動Producer傳送訊息

如果我們要用一個Producer傳送給多個broker,唯一需要改變的就是在broker-list屬性中指定要連線的broker:

    [[email protected] kafka-0.8]# bin/kafka-console-producer.sh --broker-list localhost:9092,localhost:9093 --topic othertopic

如果我們要讓不同的Producer傳送給不同的broker,我們也僅僅需要為每個Producer配置響應的broker-list屬性即可。

5.啟動一個消費者來消費訊息

和之前的命令一樣

    [[email protected] kafka-0.8]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic othertopic --from-beginning

三、叢集模式(多節點多例項)

介紹了上面兩種配置方法,再理解叢集配置就簡單了,比如我們要配置如下圖所示叢集:
zookeeper配置檔案(zookeeper.properties):不變
broker的配置配置檔案(server.properties):按照單節點多例項配置方法在一個節點上啟動兩個例項,不同的地方是zookeeper的連線串需要把所有節點的zookeeper都連線起來
# Zookeeper 連線串
zookeeper.connect=node1:2181,node2:2181

這裡寫圖片描述

相關推薦

SpringBoot jar Linux服務化配置步驟

1、首先在 pom.xml 中配置外掛 Java程式碼 <plugin> <groupId>org.springframework.boot</groupId> <artifac

LinuxKafka配置步驟

Kafka叢集配置比較簡單,為了更好的讓大家理解,在這裡要分別介紹下面三種配置 單節點:一個broker的叢集 單節點:多個broker的叢集 多節點:多broker叢集 一、單節點單broker例項的配置 1. 首先啟動zookeep

Linux安裝配置JDK和Tomcat操作步驟

下面以JDK7和Tomcat7為例,介紹CentOS7.5下安裝配置JDK和Tomcat的操作步驟。 1、安裝JDK 1.1、檢視yum庫中都有哪些jdk版本 yum search java|grep jdk1.2、選擇指定的版本安裝 yum install java-1.7.0-openj

Centons7安裝配置Flume、Linux安裝配置Flume、Flume的簡單使用示例、Flume整合Kafka使用

本篇文章主要介紹在windows下使用vmware虛擬機器中的Linux(Centons7)下配置安裝Flume。 目前Flume 的最新版本為1.8,筆者安裝的是1.6,是Flume的一個經典版本,通常在生產環境中使用的就是這個版本,在安裝Flume前,看先它的前置條件  (1)

Centons7安裝配置KafkaLinux安裝配置Kafka

本篇文章主要介紹在windows下使用vmware虛擬機器中的Linux(Centons7)下配置安裝Kafka。 簡要步驟: ①、下載Kafka解壓包 ②、解壓Kafka ③、修改配置檔案 ④、啟動Kafka ⑤、建立topic   詳細步驟:

linux安裝配置JDK,詳細步驟圖文

1、複製jdk到安裝目錄 (1)假設jdk安裝檔案在桌面,我們指定的安裝目錄是:/usr/local/java 。可是系統安裝後在/usr/local下並沒有java目錄,這需要我們去建立一個jav

Java學習筆記——Linux安裝配置MySQL

code names 刪掉 set 影響 per install nod 設置 山重水復疑無路,柳暗花明又一村               ——遊山西村 系統:Ubuntu 16.04LTS 1\官網下載mysql-5.7.18-linux-glibc2.5-x86

Linux安裝配置SNMP服務

ip地址 .com 設備節點 1.4.1 linux下 檢查 linu sof href 一、安裝snmp服務 1、檢查系統是否已經安裝snmp的rpm包 以下是安裝snmp服務需要的rpm包: libsensors3-2.10.6-55.el5.i386.rpm

linuxNginx配置文件(nginx.conf)配置設置詳解(windows用phpstudy集成)

兩個 response 機制 .so 不用 filename 發送 php文件 code linux備份nginx.conf文件舉例: cp /usr/local/nginx/nginx.conf /usr/local/nginx/nginx.conf-2017111

windowskafka配置入門 示例

keep bsp col fine program summer actor 回車 打開 實驗平臺與軟件: 操作系統:windows7 32 位 java 開發包: jdk1.8.0_144 集群: zookeeper-3.3.6 消息隊列: kafka_2.11

Linux安裝jdk8步驟詳述

can com network 拷貝 技能 ref 完成 profile 5.6 作為Java開發人員,在Linux下安裝一些開發工具是必備技能,本文以安裝jdk為例,詳細記錄了每一步的操作命令,以供參考。 0.下載jdk8 登錄網址:http://www.oracle.c

Linuxsudo配置

列表 ron linu sudo oot iot inux null ins 轉載請註明: 淩雲物網智科嵌入式實驗室: http://iot-yun.com/ 郭文學<[email protected]> [guowenxue@centos6

Linux安裝配置DNS

linux dns yum install -y bind (安裝DNS服務)vim /etc/named.conf (編輯DNS配置文件,添加一個zone,如下) zone "123.com" IN { type master; fil

linuxftp配置

efi std cti local asc mas 標準 linu 需要 # 匿名用戶配置 anonymous_enable=YES # 是否允許匿名ftp,如否則選擇NO anon_upload_enable=YES # 匿名用戶是否能

Linux路由配置梳理

梳理 冗余 work 系統啟動 local 網絡接口 分別是 自啟動 bsp 在日常運維作業中,經常會碰到路由表的操作。下面就linux運維中的路由操作做一梳理:--------------------------------------------------------

Linux安裝配置Jenkins

linux安裝Jenkins前面簡單介紹了下CentOS7下安裝配置nuxus和CentOS7下防火墻的配置,今天繼續介紹CentOS7下jenkins的安裝配置。下載 我在安裝配置時,用的是jenkins的rpm包,下載地址如下: https://jenkins.io/

Linux安裝配置LIDS系統

LIDSLIDS全稱為Linux Intrusion Detection System,是一種基於Linux內核補丁模式的入侵檢測系統,它也是一種基於主機的入侵檢測系統。它集成在Linux內核中,來進一步加強Linux內核的安全性,為Linux內核提供實現一種安全模式、參考模式和強制存取控制模式。雖然,網絡防

linux安裝配置jdk(解壓版)

生效 測試 linu 文件 info img url www 技術 在linux下登錄oracle官網,下載解壓版jdk 傳送門 系統默認下載到“下載”目錄中 創建要將該文件解壓的文件夾: 其中 -p 參數代表遞歸創建文件夾(可以創建多級目錄) 進

linux如何配置yum源

-s ces replace x86 代碼 cache file views serve first:掛載本地鏡像文件(掛載:意為將某個文件放置在系統的一個目錄下) mkdir /media/cdrom #新建鏡像文件掛載目錄 cd

Linux安裝配置JDK

exp lin tar.gz spa www. bin jdk1.8 VM mod 一.下載JDK到甲骨文官網下載JDK(www.oracle.com) 二.解壓安裝在/usr下新建目錄/java1.cd /usr2.sudo mkdir java通過cd命令進入到下載的J