Linux下的Kafka配置步驟
Kafka叢集配置比較簡單,為了更好的讓大家理解,在這裡要分別介紹下面三種配置
- 單節點:一個broker的叢集
- 單節點:多個broker的叢集
- 多節點:多broker叢集
一、單節點單broker例項的配置
1. 首先啟動zookeeper服務
必須使用root使用者啟動kafka
Kafka本身提供了啟動zookeeper的指令碼(在kafka/bin/目錄下)和zookeeper配置檔案(在kafka/config/目錄下),首先進入Kafka的主目錄(可通過 whereis kafka命令查詢到):
[root@localhost kafka-0.8]# bin/zookeeper-server-start.sh config/zookeeper.properties
zookeeper配置檔案的一些重要屬性:
# Data directory where the zookeeper snapshot is stored.
dataDir=/tmp/zookeeper
# The port listening for client request
clientPort=2181
預設情況下,zookeeper伺服器會監聽 2181埠,更詳細的資訊可去zookeeper官網查閱。
2. 啟動Kafka broker
執行kafka提供的啟動kafka服務指令碼即可:
[root@localhost kafka-0.8]# bin/kafka-server-start.sh config/server.properties
broker配置檔案中的重要屬性:
# broker的id. 每個broker的id必須是唯一的.
Broker.id=0
# 存放log的目錄
log.dir=/tmp/kafka8-logs
# Zookeeper 連線串
zookeeper.connect=localhost:2181
3. 建立一個僅有一個Partition的topic
[[email protected] kafka-0.8]# bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 1 --partition 1 --topic kafkatopic
4. 用Kafka提供的生產者客戶端啟動一個生產者程序來發送訊息
[[email protected] kafka-0.8]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafkatopic
其中有兩個引數需要注意:
- broker-list:定義了生產者要推送訊息的broker地址,以
5. 啟動一個Consumer例項來消費訊息
[[email protected] kafka-0.8]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic kafkatopic --from-beginning
當你執行這個命令之後,你便可以看到控制檯上打印出的生產者生產的訊息:
和消費者相關的屬性配置存放在Consumer.properties檔案中,重要的屬性有:
# consumer的group id (A string that uniquely identifies a set of consumers
# within the same consumer group)
groupid=test-consumer-group
# zookeeper 連線串
zookeeper.connect=localhost:2181
二、單節點執行多broker例項
前面的步驟和單節點執行但broker例項一樣
1、啟動zookeeper
2、啟動Kafka的broker
要想在一臺機器上啟動多個broker例項,只需要準備多個server.properties檔案即可,比如我們要在一臺機器上啟動兩個broker:
首先我們要準備兩個server.properties配置檔案
server-1
brokerid=1
port=9092
log.dir=/temp/kafka8-logs/broker1
server-2
brokerid=2
port=9093
log.dir=/temp/kafka8-logs/broker2
然後我們再用這兩個配置檔案分別啟動一個broker
[root@localhost kafka-0.8]# env JMX_PORT=9999 bin/kafka-server-start.sh config/server-1.properties
[root@localhost kafka-0.8]# env JMX_PORT=10000 bin/kafka-server-start.sh config/server-2.properties
可以看到我們啟動是為每個broker都指定了不同的JMX Port,JMX Port主要用來利用jconsole等工具進行監控和排錯
3.建立一個topic
現在我們要建立一個含有兩個Partition分割槽和2個備份的broker:
[[email protected] kafka-0.8]# bin/kafka-create-topic.sh --zookeeper localhost:2181 --replica 2 --partition 2 --topic othertopic
4.啟動Producer傳送訊息
如果我們要用一個Producer傳送給多個broker,唯一需要改變的就是在broker-list屬性中指定要連線的broker:
[[email protected] kafka-0.8]# bin/kafka-console-producer.sh --broker-list localhost:9092,localhost:9093 --topic othertopic
如果我們要讓不同的Producer傳送給不同的broker,我們也僅僅需要為每個Producer配置響應的broker-list屬性即可。
5.啟動一個消費者來消費訊息
和之前的命令一樣
[[email protected] kafka-0.8]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic othertopic --from-beginning
三、叢集模式(多節點多例項)
介紹了上面兩種配置方法,再理解叢集配置就簡單了,比如我們要配置如下圖所示叢集:
zookeeper配置檔案(zookeeper.properties):不變
broker的配置配置檔案(server.properties):按照單節點多例項配置方法在一個節點上啟動兩個例項,不同的地方是zookeeper的連線串需要把所有節點的zookeeper都連線起來
# Zookeeper 連線串
zookeeper.connect=node1:2181,node2:2181
相關推薦
SpringBoot jar Linux下服務化配置步驟
1、首先在 pom.xml 中配置外掛 Java程式碼 <plugin> <groupId>org.springframework.boot</groupId> <artifac
Linux下的Kafka配置步驟
Kafka叢集配置比較簡單,為了更好的讓大家理解,在這裡要分別介紹下面三種配置 單節點:一個broker的叢集 單節點:多個broker的叢集 多節點:多broker叢集 一、單節點單broker例項的配置 1. 首先啟動zookeep
Linux下安裝配置JDK和Tomcat操作步驟
下面以JDK7和Tomcat7為例,介紹CentOS7.5下安裝配置JDK和Tomcat的操作步驟。 1、安裝JDK 1.1、檢視yum庫中都有哪些jdk版本 yum search java|grep jdk1.2、選擇指定的版本安裝 yum install java-1.7.0-openj
Centons7下安裝配置Flume、Linux下安裝配置Flume、Flume的簡單使用示例、Flume整合Kafka使用
本篇文章主要介紹在windows下使用vmware虛擬機器中的Linux(Centons7)下配置安裝Flume。 目前Flume 的最新版本為1.8,筆者安裝的是1.6,是Flume的一個經典版本,通常在生產環境中使用的就是這個版本,在安裝Flume前,看先它的前置條件 (1)
Centons7下安裝配置Kafka、Linux下安裝配置Kafka
本篇文章主要介紹在windows下使用vmware虛擬機器中的Linux(Centons7)下配置安裝Kafka。 簡要步驟: ①、下載Kafka解壓包 ②、解壓Kafka ③、修改配置檔案 ④、啟動Kafka ⑤、建立topic 詳細步驟:
linux下安裝配置JDK,詳細步驟圖文
1、複製jdk到安裝目錄 (1)假設jdk安裝檔案在桌面,我們指定的安裝目錄是:/usr/local/java 。可是系統安裝後在/usr/local下並沒有java目錄,這需要我們去建立一個jav
Java學習筆記——Linux下安裝配置MySQL
code names 刪掉 set 影響 per install nod 設置 山重水復疑無路,柳暗花明又一村 ——遊山西村 系統:Ubuntu 16.04LTS 1\官網下載mysql-5.7.18-linux-glibc2.5-x86
Linux下安裝配置SNMP服務
ip地址 .com 設備節點 1.4.1 linux下 檢查 linu sof href 一、安裝snmp服務 1、檢查系統是否已經安裝snmp的rpm包 以下是安裝snmp服務需要的rpm包: libsensors3-2.10.6-55.el5.i386.rpm
linux下Nginx配置文件(nginx.conf)配置設置詳解(windows用phpstudy集成)
兩個 response 機制 .so 不用 filename 發送 php文件 code linux備份nginx.conf文件舉例: cp /usr/local/nginx/nginx.conf /usr/local/nginx/nginx.conf-2017111
windows下kafka配置入門 示例
keep bsp col fine program summer actor 回車 打開 實驗平臺與軟件: 操作系統:windows7 32 位 java 開發包: jdk1.8.0_144 集群: zookeeper-3.3.6 消息隊列: kafka_2.11
Linux下安裝jdk8步驟詳述
can com network 拷貝 技能 ref 完成 profile 5.6 作為Java開發人員,在Linux下安裝一些開發工具是必備技能,本文以安裝jdk為例,詳細記錄了每一步的操作命令,以供參考。 0.下載jdk8 登錄網址:http://www.oracle.c
Linux下sudo配置
列表 ron linu sudo oot iot inux null ins 轉載請註明: 淩雲物網智科嵌入式實驗室: http://iot-yun.com/ 郭文學<[email protected]> [guowenxue@centos6
Linux下安裝配置DNS
linux dns yum install -y bind (安裝DNS服務)vim /etc/named.conf (編輯DNS配置文件,添加一個zone,如下) zone "123.com" IN { type master; fil
linux下ftp配置
efi std cti local asc mas 標準 linu 需要 # 匿名用戶配置 anonymous_enable=YES # 是否允許匿名ftp,如否則選擇NO anon_upload_enable=YES # 匿名用戶是否能
Linux下路由配置梳理
梳理 冗余 work 系統啟動 local 網絡接口 分別是 自啟動 bsp 在日常運維作業中,經常會碰到路由表的操作。下面就linux運維中的路由操作做一梳理:--------------------------------------------------------
Linux下安裝配置Jenkins
linux安裝Jenkins前面簡單介紹了下CentOS7下安裝配置nuxus和CentOS7下防火墻的配置,今天繼續介紹CentOS7下jenkins的安裝配置。下載 我在安裝配置時,用的是jenkins的rpm包,下載地址如下: https://jenkins.io/
Linux下安裝配置LIDS系統
LIDSLIDS全稱為Linux Intrusion Detection System,是一種基於Linux內核補丁模式的入侵檢測系統,它也是一種基於主機的入侵檢測系統。它集成在Linux內核中,來進一步加強Linux內核的安全性,為Linux內核提供實現一種安全模式、參考模式和強制存取控制模式。雖然,網絡防
linux下安裝配置jdk(解壓版)
生效 測試 linu 文件 info img url www 技術 在linux下登錄oracle官網,下載解壓版jdk 傳送門 系統默認下載到“下載”目錄中 創建要將該文件解壓的文件夾: 其中 -p 參數代表遞歸創建文件夾(可以創建多級目錄) 進
linux下如何配置yum源
-s ces replace x86 代碼 cache file views serve first:掛載本地鏡像文件(掛載:意為將某個文件放置在系統的一個目錄下) mkdir /media/cdrom #新建鏡像文件掛載目錄 cd
Linux下安裝配置JDK
exp lin tar.gz spa www. bin jdk1.8 VM mod 一.下載JDK到甲骨文官網下載JDK(www.oracle.com) 二.解壓安裝在/usr下新建目錄/java1.cd /usr2.sudo mkdir java通過cd命令進入到下載的J