1. 程式人生 > >kafka+zookeeper入門搭建

kafka+zookeeper入門搭建

配置jdk
[[email protected] mnt]# java -version
java version "1.8.0_102"
Java(TM) SE Runtime Environment (build 1.8.0_102-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.102-b14, mixed mode)

解壓zookeeper

解壓kafka

[[email protected] kafka]# vim /etc/hosts  解析本地主機名

[[email protected] zookeeper]# cp conf/zoo_sample.cfg conf/zoo_cfg   生成zookeeper配置檔案

[
[email protected]
zookeeper]# ./bin/zkServer.sh start    啟動zookeeper
JMX enabled by default
Using config: /mnt/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

[[email protected] kafka]# nohup ./bin/kafka-server-start.sh config/server.properties >> /mnt/kafka.log &   啟動kafka     

[[email protected]
kafka]# ./bin/kafka-topics.sh  --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafkatest
[[email protected] kafka]# ./bin/kafka-topics.sh  --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
建立2個主題


[[email protected] kafka]# bin/kafka-topics.sh --list --zookeeper localhost:2181     檢視執行的主題
kafkatest
test
[
[email protected]
kafka]#

在終端執行生產者
[[email protected] kafka]# ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
wocao
wocao!
我曹


另外開啟一個終端執行消費者(卡夫卡有一個命令,是消費者將轉儲訊息到標準輸出。)
[[email protected] kafka]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
wocao
wocao!
我曹

擴大我們的叢集到三個節點(仍然在我們的本地機器)。
複製出另外兩個配置檔案
[[email protected] kafka]# cp config/server.properties config/server_1.properties
[[email protected] kafka]# cp config/server.properties config/server_2.properties

修改server_1和server_2配置檔案(列出三個配置檔案的內容)
server.properties為預設檔案
[[email protected] kafka]# grep -v "^$" config/server.properties | grep -v "^#"
broker.id=0
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000

server_1.properties內容
[[email protected] kafka]# grep -v "^$" config/server_1.properties | grep -v "^#"
broker.id=1
listeners=PLAINTEXT://:9093
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs_1
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000

server_2.properties內容
[[email protected] kafka]# grep -v "^$" config/server_2.properties | grep -v "^#"
broker.id=2
listeners=PLAINTEXT://:9094
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs_2
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000

啟動另外兩個節點
[[email protected] kafka]# nohup ./bin/kafka-server-start.sh config/server_1.properties >> /mnt/kafka_1.log &
[1] 4451
[[email protected] kafka]# nohup: 忽略輸入重定向錯誤到標準輸出端
[[email protected] kafka]# nohup ./bin/kafka-server-start.sh config/server_2.properties >> /mnt/kafka_2.log &
[2] 4744
[[email protected] kafka]# nohup: 忽略輸入重定向錯誤到標準輸出端


現在建立一個新的主題,複製係數為3
[[email protected] kafka]# ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic kafka_3_node

檢視主題kafka_3_node
[[email protected] kafka]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic kafka_3_node
Topic:kafka_3_node    PartitionCount:1    ReplicationFactor:3    Configs:
    Topic: kafka_3_node    Partition: 0    Leader: 1    Replicas: 1,0,2    Isr: 1,0,2
說明:
Topic(主題):kafka_3_node
PartitionCount(分割槽數):1
Leader(領導)在1節點上
replicas(副本)在1,0,2節點,不管node死活,只是列出資訊而已.
isr” 工作中的複製節點的集合. 也就是活的節點的集合.

再看看主題test
[[email protected] kafka]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
Topic:test    PartitionCount:1    ReplicationFactor:1    Configs:
    Topic: test    Partition: 0    Leader: 0    Replicas: 0    Isr: 0

傳送一些新的訊息kafka_3_node
[[email protected] kafka]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafka_3_node
woqu
我去
我去去去去去去去


用另外一個終端接收
[[email protected] kafka]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic kafka_3_node
woqu
我去
我去去去去去去去


幹掉leader,也就是Broker1
[[email protected] kafka]# kill 4451

再看一下kafka_3_node
[[email protected] kafka]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic kafka_3_node
Topic:kafka_3_node    PartitionCount:1    ReplicationFactor:3    Configs:
    Topic: kafka_3_node    Partition: 0    Leader: 0    Replicas: 1,0,2    Isr: 0,2

對比一下之前的
[[email protected] kafka]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic kafka_3_node
Topic:kafka_3_node    PartitionCount:1    ReplicationFactor:3    Configs:
    Topic: kafka_3_node    Partition: 0    Leader: 1    Replicas: 1,0,2    Isr: 1,0,2

再看一下消費者,訊息是沒有丟失的
[[email protected] kafka]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic kafka_3_node
woqu
我去
我去去去去去去去





相關推薦

kafka+zookeeper入門搭建

配置jdk [[email protected] mnt]# java -version java version "1.8.0_102" Java(TM) SE Runtime Environment (build 1.8.0_102-b14) Java Hot

kafka+zookeeper叢集搭建

看了網上一批的叢集搭建,自己也寫一個kafak的叢集搭建,搭建很簡單,難的是這麼用java工程去發這訊息。 先準備一個kafka的tar包,我這裡用的是kafka_2.10-0.9.0.0.tar       然後就是zookeeper,我用的是zooke

Flume+Kafka+Zookeeper搭建大數據日誌采集框架

flume+kafka+zookeeper1. JDK的安裝 參考jdk的安裝,此處略。2. 安裝Zookeeper 參考我的Zookeeper安裝教程中的“完全分布式”部分。3. 安裝Kafka 參考我的Kafka安裝教程中的“完全分布式搭建”部分。4. 安裝Flume 參考

Kafka+Zookeeper+Filebeat+ELK 搭建日誌收集系統

could not arch success div 名稱 fill pil ice oca ELK ELK目前主流的一種日誌系統,過多的就不多介紹了 Filebeat收集日誌,將收集的日誌輸出到kafka,避免網絡問題丟失信息 kafka接收到日誌消息後直接消費到Lo

大資料入門(14)hadoop+yarn+zookeeper叢集搭建

1、右鍵clone虛擬機器,進入圖形介面,修改虛擬機器ip即可,相關環境變數配置都存在 2、叢集規劃:(必須設定主機名,配置主機名和ip的對映關係,每個檔案都需要配置對映關係)     主機名       &

Zookeeper叢集搭建Kafka叢集的搭建

Zookeeper!!! 一、Zookeeper叢集搭建步驟 0)叢集規劃 在hadoop01、hadoop02和hadoop03三個節點上部署Zookeeper。 1)解壓安裝 (1)解壓zookeeper安裝包到/home/hadoop/insatll/目錄下 [[email 

阿里雲 centos7 系統下 外網kafka(用自帶的zookeeper搭建筆記

kafka 下載 http://kafka.apache.org/downloads 你可以選擇 用xshell 來安裝檔案上傳外掛 在xshell 中執行命令 yum install  lrzsz -y  然後進入放你kakfa的目錄  我k

kafka+zookeeper偽叢集搭建

(一.zookeeper偽叢集搭建)1.建立3個zoo.cfg(zoo1.cfg,zoo2.cfg,zoo3.cfg)zoo1.cfg 設定:# 資料資料夾dataDir=/usr/local/zook

Hadoop+Flume+Kafka+Zookeeper叢集環境搭建(一)

Hadoop+Flume+Kafka+Zookeeper叢集環境搭建 1.部署基礎條件 1.1 硬體條件 IP hostname 192.168.100.103 mater 192.168.100.104 flumekafka1 192.168.1

flume+kafka+zookeeper+storm實時計算環境搭建(二)

搭建flume+kafka+storm環境 這裡,我的flume是採集mysql的資料再存入kafka,我用mysql作為我的source,記憶體memory作為channels,kafka作為sink,這個要藉助一個外掛source-ng-sql手機mysql

Dubbo+zookeeper入門示例搭建

-安裝zookeeper 1.在官網上下載zookeeper安裝檔案,解壓,重新命名zookeeper-3.4.5\conf目錄下的zoo_sample.cfg為zoo.cfg 2.在zookeeper-3.4.5\bin目錄下,雙擊zk

dubbo學習(1)--簡單的入門搭建實例

實現類 set ng- dds 更新 輸出 block sys 註冊 轉載請註明源文出處:http://www.cnblogs.com/lighten/p/6828026.html 1 簡介 dubbo是一個分布式服務框架,由阿裏巴巴的工程師開發,致力於提供

KafKa+Zookeeper+Flume部署腳本

tns 企鵝 aaa 源碼 腳本 nsa data- aaaaa cst 喜歡學習的朋友可以收藏 願意了解框架技術或者源碼的朋友直接加求求(企鵝):2042849237KafKa+Zookeeper+Flume部署腳本

Kafka集群搭建

pic 配置環境變量 處理 jdk1.8 將他 版本 線程 partition connect 本文安裝環境   操作系統:CentOS6.7 64位   JDK版本:jdk1.8.0_131(要求JDK1.8以上)   ZooKeeper版本:3.4.8   Ka

zookeeper入門教程

下載 eval 節點 zkcli span books 生產環境 存儲 線程 zookeeper使用場景,不是很難了解,感覺zk監聽節點變化,這個功能比較厲害。zk存儲的節點組織結構有點像unix文件系統 1.安裝zk 運行環境 centos 7 java 8 zoo

zookeeper入門學習(一)

角色 延長 rop ado lower 不能 分享 視圖 服務器端 概述:   ZooKeeper是Hadoop的開源子項目(Google Chubby的開源實現),它是一個針對大型分布式系統的可靠協調系統,提供的功能包括:配置維護、命名服務、分布式同步、組服務等。  

Kafka 環境部署搭建

kafka 環境部署搭建一、基本概念介紹Kafka是一個分布式的、可分區的、可復制的消息系統。它提供了普通消息系統的功能,但具有自己獨特的設計。這個獨特的設計是什麽樣的呢?首先讓我們看幾個基本的消息系統術語:Kafka將消息以topic為單位進行歸納。將向Kafka topic發布消息的程序成為produce

centos6 - elk基礎入門搭建

elk[[email protected]/* */ ~]# rm -rf /etc/yum.repos.d/* [[email protected]/* */ ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.a

kafka經典入門

stat 緩存 大於 分區 依然 fig tin 發送消息 ray 問題導讀1.Kafka獨特設計在什麽地方?2.Kafka如何搭建及創建topic、發送消息、消費消息?3.如何書寫Kafka程序?4.數據傳輸的事務定義有哪三種?5.Kafka判斷一個節點是否活著有哪

windows下kafka配置入門 示例

keep bsp col fine program summer actor 回車 打開 實驗平臺與軟件: 操作系統:windows7 32 位 java 開發包: jdk1.8.0_144 集群: zookeeper-3.3.6 消息隊列: kafka_2.11