kafka+zookeeper入門搭建
[[email protected] mnt]# java -version
java version "1.8.0_102"
Java(TM) SE Runtime Environment (build 1.8.0_102-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.102-b14, mixed mode)
解壓zookeeper
解壓kafka
[[email protected] kafka]# vim /etc/hosts 解析本地主機名
[[email protected] zookeeper]# cp conf/zoo_sample.cfg conf/zoo_cfg 生成zookeeper配置檔案
[
JMX enabled by default
Using config: /mnt/zookeeper/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
[[email protected] kafka]# nohup ./bin/kafka-server-start.sh config/server.properties >> /mnt/kafka.log & 啟動kafka
[[email protected]
[[email protected] kafka]# ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
建立2個主題
[[email protected] kafka]# bin/kafka-topics.sh --list --zookeeper localhost:2181 檢視執行的主題
kafkatest
test
[
在終端執行生產者
[[email protected] kafka]# ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
wocao
wocao!
我曹
另外開啟一個終端執行消費者(卡夫卡有一個命令,是消費者將轉儲訊息到標準輸出。)
[[email protected] kafka]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
wocao
wocao!
我曹
擴大我們的叢集到三個節點(仍然在我們的本地機器)。
複製出另外兩個配置檔案
[[email protected] kafka]# cp config/server.properties config/server_1.properties
[[email protected] kafka]# cp config/server.properties config/server_2.properties
修改server_1和server_2配置檔案(列出三個配置檔案的內容)
server.properties為預設檔案
[[email protected] kafka]# grep -v "^$" config/server.properties | grep -v "^#"
broker.id=0
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000
server_1.properties內容
[[email protected] kafka]# grep -v "^$" config/server_1.properties | grep -v "^#"
broker.id=1
listeners=PLAINTEXT://:9093
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs_1
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000
server_2.properties內容
[[email protected] kafka]# grep -v "^$" config/server_2.properties | grep -v "^#"
broker.id=2
listeners=PLAINTEXT://:9094
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/tmp/kafka-logs_2
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=localhost:2181
zookeeper.connection.timeout.ms=6000
啟動另外兩個節點
[[email protected] kafka]# nohup ./bin/kafka-server-start.sh config/server_1.properties >> /mnt/kafka_1.log &
[1] 4451
[[email protected] kafka]# nohup: 忽略輸入重定向錯誤到標準輸出端
[[email protected] kafka]# nohup ./bin/kafka-server-start.sh config/server_2.properties >> /mnt/kafka_2.log &
[2] 4744
[[email protected] kafka]# nohup: 忽略輸入重定向錯誤到標準輸出端
現在建立一個新的主題,複製係數為3
[[email protected] kafka]# ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic kafka_3_node
檢視主題kafka_3_node
[[email protected] kafka]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic kafka_3_node
Topic:kafka_3_node PartitionCount:1 ReplicationFactor:3 Configs:
Topic: kafka_3_node Partition: 0 Leader: 1 Replicas: 1,0,2 Isr: 1,0,2
說明:
Topic(主題):kafka_3_node
PartitionCount(分割槽數):1
Leader(領導)在1節點上
replicas(副本)在1,0,2節點,不管node死活,只是列出資訊而已.
isr” 工作中的複製節點的集合. 也就是活的節點的集合.
再看看主題test
[[email protected] kafka]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
Topic:test PartitionCount:1 ReplicationFactor:1 Configs:
Topic: test Partition: 0 Leader: 0 Replicas: 0 Isr: 0
傳送一些新的訊息kafka_3_node
[[email protected] kafka]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafka_3_node
woqu
我去
我去去去去去去去
用另外一個終端接收
[[email protected] kafka]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic kafka_3_node
woqu
我去
我去去去去去去去
幹掉leader,也就是Broker1
[[email protected] kafka]# kill 4451
再看一下kafka_3_node
[[email protected] kafka]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic kafka_3_node
Topic:kafka_3_node PartitionCount:1 ReplicationFactor:3 Configs:
Topic: kafka_3_node Partition: 0 Leader: 0 Replicas: 1,0,2 Isr: 0,2
對比一下之前的
[[email protected] kafka]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic kafka_3_node
Topic:kafka_3_node PartitionCount:1 ReplicationFactor:3 Configs:
Topic: kafka_3_node Partition: 0 Leader: 1 Replicas: 1,0,2 Isr: 1,0,2
再看一下消費者,訊息是沒有丟失的
[[email protected] kafka]# bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic kafka_3_node
woqu
我去
我去去去去去去去
相關推薦
kafka+zookeeper入門搭建
配置jdk [[email protected] mnt]# java -version java version "1.8.0_102" Java(TM) SE Runtime Environment (build 1.8.0_102-b14) Java Hot
kafka+zookeeper叢集搭建
看了網上一批的叢集搭建,自己也寫一個kafak的叢集搭建,搭建很簡單,難的是這麼用java工程去發這訊息。 先準備一個kafka的tar包,我這裡用的是kafka_2.10-0.9.0.0.tar 然後就是zookeeper,我用的是zooke
Flume+Kafka+Zookeeper搭建大數據日誌采集框架
flume+kafka+zookeeper1. JDK的安裝 參考jdk的安裝,此處略。2. 安裝Zookeeper 參考我的Zookeeper安裝教程中的“完全分布式”部分。3. 安裝Kafka 參考我的Kafka安裝教程中的“完全分布式搭建”部分。4. 安裝Flume 參考
Kafka+Zookeeper+Filebeat+ELK 搭建日誌收集系統
could not arch success div 名稱 fill pil ice oca ELK ELK目前主流的一種日誌系統,過多的就不多介紹了 Filebeat收集日誌,將收集的日誌輸出到kafka,避免網絡問題丟失信息 kafka接收到日誌消息後直接消費到Lo
大資料入門(14)hadoop+yarn+zookeeper叢集搭建
1、右鍵clone虛擬機器,進入圖形介面,修改虛擬機器ip即可,相關環境變數配置都存在 2、叢集規劃:(必須設定主機名,配置主機名和ip的對映關係,每個檔案都需要配置對映關係) 主機名 &
Zookeeper叢集搭建和Kafka叢集的搭建
Zookeeper!!! 一、Zookeeper叢集搭建步驟 0)叢集規劃 在hadoop01、hadoop02和hadoop03三個節點上部署Zookeeper。 1)解壓安裝 (1)解壓zookeeper安裝包到/home/hadoop/insatll/目錄下 [[email
阿里雲 centos7 系統下 外網kafka(用自帶的zookeeper) 搭建筆記
kafka 下載 http://kafka.apache.org/downloads 你可以選擇 用xshell 來安裝檔案上傳外掛 在xshell 中執行命令 yum install lrzsz -y 然後進入放你kakfa的目錄 我k
kafka+zookeeper偽叢集搭建
(一.zookeeper偽叢集搭建)1.建立3個zoo.cfg(zoo1.cfg,zoo2.cfg,zoo3.cfg)zoo1.cfg 設定:# 資料資料夾dataDir=/usr/local/zook
Hadoop+Flume+Kafka+Zookeeper叢集環境搭建(一)
Hadoop+Flume+Kafka+Zookeeper叢集環境搭建 1.部署基礎條件 1.1 硬體條件 IP hostname 192.168.100.103 mater 192.168.100.104 flumekafka1 192.168.1
flume+kafka+zookeeper+storm實時計算環境搭建(二)
搭建flume+kafka+storm環境 這裡,我的flume是採集mysql的資料再存入kafka,我用mysql作為我的source,記憶體memory作為channels,kafka作為sink,這個要藉助一個外掛source-ng-sql手機mysql
Dubbo+zookeeper入門示例搭建
-安裝zookeeper 1.在官網上下載zookeeper安裝檔案,解壓,重新命名zookeeper-3.4.5\conf目錄下的zoo_sample.cfg為zoo.cfg 2.在zookeeper-3.4.5\bin目錄下,雙擊zk
dubbo學習(1)--簡單的入門搭建實例
實現類 set ng- dds 更新 輸出 block sys 註冊 轉載請註明源文出處:http://www.cnblogs.com/lighten/p/6828026.html 1 簡介 dubbo是一個分布式服務框架,由阿裏巴巴的工程師開發,致力於提供
KafKa+Zookeeper+Flume部署腳本
tns 企鵝 aaa 源碼 腳本 nsa data- aaaaa cst 喜歡學習的朋友可以收藏 願意了解框架技術或者源碼的朋友直接加求求(企鵝):2042849237KafKa+Zookeeper+Flume部署腳本
Kafka集群搭建
pic 配置環境變量 處理 jdk1.8 將他 版本 線程 partition connect 本文安裝環境 操作系統:CentOS6.7 64位 JDK版本:jdk1.8.0_131(要求JDK1.8以上) ZooKeeper版本:3.4.8 Ka
zookeeper入門教程
下載 eval 節點 zkcli span books 生產環境 存儲 線程 zookeeper使用場景,不是很難了解,感覺zk監聽節點變化,這個功能比較厲害。zk存儲的節點組織結構有點像unix文件系統 1.安裝zk 運行環境 centos 7 java 8 zoo
zookeeper入門學習(一)
角色 延長 rop ado lower 不能 分享 視圖 服務器端 概述: ZooKeeper是Hadoop的開源子項目(Google Chubby的開源實現),它是一個針對大型分布式系統的可靠協調系統,提供的功能包括:配置維護、命名服務、分布式同步、組服務等。
Kafka 環境部署搭建
kafka 環境部署搭建一、基本概念介紹Kafka是一個分布式的、可分區的、可復制的消息系統。它提供了普通消息系統的功能,但具有自己獨特的設計。這個獨特的設計是什麽樣的呢?首先讓我們看幾個基本的消息系統術語:Kafka將消息以topic為單位進行歸納。將向Kafka topic發布消息的程序成為produce
centos6 - elk基礎入門搭建
elk[[email protected]/* */ ~]# rm -rf /etc/yum.repos.d/* [[email protected]/* */ ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.a
kafka經典入門
stat 緩存 大於 分區 依然 fig tin 發送消息 ray 問題導讀1.Kafka獨特設計在什麽地方?2.Kafka如何搭建及創建topic、發送消息、消費消息?3.如何書寫Kafka程序?4.數據傳輸的事務定義有哪三種?5.Kafka判斷一個節點是否活著有哪
windows下kafka配置入門 示例
keep bsp col fine program summer actor 回車 打開 實驗平臺與軟件: 操作系統:windows7 32 位 java 開發包: jdk1.8.0_144 集群: zookeeper-3.3.6 消息隊列: kafka_2.11