1. 程式人生 > >基於Kafka的生產者消費者訊息處理本地除錯

基於Kafka的生產者消費者訊息處理本地除錯

Kafka下載地址:http://download.csdn.net/download/qq_25827845/9798176

安裝解壓即可

配置修改zookeeper.properties 與 server.properties修改為本地路徑,如圖所示:

將config資料夾中的zookeeper.properties 與 server.properties拷貝到bin/windows下。



windows的服務指令碼在bin\windows

(1)啟動服務:啟動zookeeper:  

  zookeeper-server-start.bat zookeeper.properties      

cd到bin\windows目錄, 並把zookeeper.properties  拷貝到這裡或者在命令中帶上絕對路徑


(2)啟動kafka:  

kafka-server-start.bat server.properties


(3)關閉服務:在啟動服務的cmd視窗, 按ctrl+c另開視窗, 

執行指令碼kafka-server-stop.bat zookeeper-server-stop.bat

(4)消費測試:建立topic:

kafka-topics.bat --create --zookeeper localhost:2181--replication-factor 1 --partitions 1 --topic test_ywq

 

(5)建立一個Producer, 開啟一個cmd視窗,執行: 

kafka-console-producer.bat --broker-list localhost:9092 --topic test_ywq


(6)建立一個Consumer, 開啟一個cmd視窗,執行:

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test_ywq


(7)生產和消費測試:

當在生產者的訊息為hello?時,可以看到,在消費者裡邊可以消費到hello?



心得總結:
1. produce啟動的時候引數使用的是kafka的埠

consumer啟動的時候使用的是zookeeper的埠;
2.必須先建立topic才能使用;
3.topic本質是以檔案的形式儲存在zookeeper上的。

如果對你有幫助,記得點贊哦~歡迎大家關注我的部落格,可以進群366533258一起交流學習哦~



相關推薦

基於Kafka生產者消費者訊息處理本地除錯

Kafka下載地址:http://download.csdn.net/download/qq_25827845/9798176安裝解壓即可配置修改zookeeper.properties 與 serve

基於Java 生產者消費者模式(詳細分析)

多多支持 final 睡眠狀態 生產線 兩種模式 while語句 interrupt count 自己的 本文目錄:1.等待、喚醒機制的原理2.Lock和Condition3.單生產者單消費者模式4.使用Lock和Condition實現單生產單消費模式5.多生產多消費模式(

KAFKA-生產者訊息費java開發示例

客戶端命令: 訊息者(全) kafka-console-consumer.sh --zookeeper localhost:2181 --topic my-topic--from-beginning 生產者     bin/kafka-console-producer.s

kafka叢集搭建和使用Java寫kafka生產者消費者

http://czj4451.iteye.com/blog/2041096 server.properties 需要配置 broker.id=110 host.name=192.168.1.108 zookeeper.connect=192.168.1.108:2181 log.dirs=/

Spring Boot、kafka、spring-kafka 生產者消費者實踐(從搭建kafka叢集開始)

一、搭建kafka叢集 參考文件:http://kafka.apache.org/quickstart 官方文件講的很詳細,而且沒坑,照著做很快就可以搭好 注意點 or 建議: 1、在Linux下,啟動的kafka叢集經常無故退出,看日誌也沒有報錯,就是啟動了關閉流程,正常關閉

Kafka生產者消費者例項

主要實現Kafka消費者和生產者最基礎功能。 消費者例項: public class MyKafkaConsumer implements Runnable {private String topic;public MyKafkaConsumer(String topic)

Kafka 生產者消費者 Java API 程式設計

我們先建立一個topic,然後啟動生產者和消費者,進行訊息通訊,然後在使用Kafka API程式設計的方式實現,筆者使用的ZK和Kafka都是單節點,你也可以使用叢集方式。 啟動Zookeeper zkServer.sh start 啟動Kafka ka

Kafka生產者消費者java示例(包含Avro序列化)

文章內容包含Kafka未進行序列化生產消費java示例,和使用Avro序列化資料進行生產和消費的示例,掌握這些之後就對Kafka的生產消費有基本開發基礎。 1.未序列化 生產者示例: import java.util.Properties; import kafka.ja

kafka生產者消費者API 與sparkStreaming 整合(scala版)

maven配置檔案 <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka --> <dependency>

基於Kafka生產者消費者消息處理本地調試

term 啟動 con 文件 tails console == cat 記得 (尊重勞動成果,轉載請註明出處:http://blog.csdn.net/qq_25827845/article/details/68174111冷血之心的博客)Kafka下載地址:http:

Kafka面試題全套整理:訊息處理+高可用叢集+生產者消費者例項

有很多人問過我要過Kafka相關的面試題,我一直懶得整理,這幾天花了點時間,結合之前面試被問過的、別人諮詢過的、我會問別人的進

基於kafka模擬生產者消費者

zookeeper的啟動指令碼: #!/bin/sh echo "start zookeeper server..." hosts="hadoop0300 hadoop0301 hadoop0302" for host in $hosts do ssh $host

spring+activemq配置多個生產者,多個消費者併發處理訊息

先貼配置 <?xml version="1.0" encoding="UTF-8"?>    <beans xmlns="http://www.springframework.org/schema/beans"   xmlns:xsi="http://w

基於線程實現的生產者消費者模型(Object.wait(),Object.notify()方法)

生產者 nbsp 來看 spa res strong read 在哪裏 那一刻 需求背景 利用線程來模擬生產者和消費者模型 系統建模 這個系統涉及到三個角色,生產者,消費者,任務隊列,三個角色之間的關系非常簡單,生產者和消費者擁有一個任務隊列的引用,生產者負責往隊列中放置對

Hadoop生態圈-Kafka的API之生產者-消費者

HA size ron 作品 消費 消費者 hadoop ado 原創                     Hadoop生態圈-Kafka的API之生產者-消費者                                             作者:尹正傑 版權

Kafka(二)Kafka生產者消費者模型

col ace ont 1.5 kafka fff spa sof oss 消費者模型消費模型有分區消費模型、組消費模型。分區消費模型:可以看到在這種模型下分區和消費者是對應的,為了保證最大效率通常一個分區對應一個消費者。生產者模型Kafka(二)Kafka生產者和消費者模

Kafka整合Kerberos之後如何使用生產者消費者命令

前提: 1、kafka版本1.0.12、在linux中使用kinit重新整理kerberos認證資訊/在配置檔案中配置keytab路徑和票據 1、生產者 1.1、準備jaas.conf並新增到環境變數(使用以下方式的其中一種) 1.1.1、使用Kinit方式 前提是手動kin

基於Docker搭建分散式訊息佇列Kafka

本文基於Docker搭建一套單節點的Kafka訊息佇列,Kafka依賴Zookeeper為其管理叢集資訊,雖然本例不涉及叢集,但是該有的元件都還是會有,典型的kafka分散式架構如下圖所示。本例搭建的示例包含Zookeeper + Kafka + Kafka-manger mark &

基於JAVA的生產者消費者問題

在作業系統課上的一點小感想,基於JAVA的生產者消費者問題,分享出來和大家一起學習。   同步機制,首先採用Java的synchronized來實現對緩衝區的互斥訪問,再設定一個訊號量來實現對緩衝區為空和為滿的狀態標記。生產者通過在synchronized同步程式碼塊中先對緩衝區是否為滿作出判斷

kafka模擬生產者-消費者以及自定義分割槽

基本概念 kafka中的重要角色   broker:一臺kafka伺服器就是一個broker,一個叢集可有多個broker,一個broker可以容納多個topic   topic:可以理解為一個訊息佇列的名字   partition:分割槽,為了實現擴充套件性,一個topic可以分佈到多