1. 程式人生 > >Windows平臺kafka單機環境的搭建

Windows平臺kafka單機環境的搭建

在安裝zookeeper前,請確認java環境已經正確安裝和配置JAVA_HOME環境變數。否則無法啟動zookeeper和kafka的。

1.安裝Zookeeper 
Kafka的執行依賴於Zookeeper,所以在執行Kafka之前我們需要安裝並執行Zookeeper 3.4.13
1.1 下載安裝檔案: http://mirror.bit.edu.cn/apache/zookeeper/ 
1.2 解壓檔案(本文解壓到 D:\soft\bigdata\zookeeper-3.4.13) 
1.3 開啟D:\soft\bigdata\zookeeper-3.4.13\conf,把zoo_sample.cfg重新命名成zoo.cfg 
1.4 從文字編輯器裡開啟zoo.cfg 
1.5 修改dataDir和dataLogDir儲存路徑 
dataDir=D:\data\logs\zookeeper 
dataLogDir=D:\data\logs\zookeeper 
1.6 新增如下系統變數:ZOOKEEPER_HOME:

D:\soft\bigdata\zookeeper-3.4.13 
Path: 在現有的值後面新增 ;%ZOOKEEPER_HOME%\bin; 
1.7 執行Zookeeper: 開啟cmd然後執行zkserver 命令。如果列印以下資訊則表示zookeeper已經安裝成功並執行在2181埠。 

2.安裝並執行Kafka 
2.1 下載安裝檔案: http://kafka.apache.org/downloads.html 
2.2 解壓檔案(本文解壓到 D:\kafka_2.11-0.10.2.0) 
2.3 開啟D:\kafka_2.11-0.10.2.0\config\ server.properties 
2.4 把 log.dirs的值改成 log.dirs=D:\data\logs\kafka 
2.5 D:\kafka_2.11-0.10.2.0\bin資料夾下的.sh命令指令碼是在shell下執行的,此資料夾下還有個 windows資料夾,裡面是windows下執行的.bat命令指令碼 
2.6 在D:\kafka_2.11-0.10.2.0資料夾中”Shift+滑鼠右鍵”點選空白處開啟命令提示視窗 (本文用的shi
是powershell, 輸入並執行一下命令以開啟kafka:

.\bin\windows\kafka-server-start.bat .\config\server.properties

顯示的資訊如下,則表示正常執行

提示:把這個命令及引數放到一個bat檔案中,儲存到D:\kafka_2.11-0.10.2.0資料夾中,雙擊執行也是可用的。下面的命令也是如此。

 

3.建立topics 
3.1在D:\kafka_2.11-0.10.2.0\bin\windows資料夾中”Shift+滑鼠右鍵”點選空白處開啟powershell命令提示視窗

.\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic monitorupload

powershell中,執行命令不成功時,如果有如下提示,請在命令名稱前加:“.\”

4.開啟一個Producer 
4.1在D:\kafka_2.11-0.10.2.0\bin\windows資料夾中”Shift+滑鼠右鍵”點選空白處開啟命令提示視窗

.\kafka-console-producer.bat --broker-list localhost:9092 --topic monitorupload

建立好下面的消費者後,就可用在上面這個生產者視窗輸入資訊了。

5.開啟一個Consumer 
5.1在D:\kafka_2.11-0.10.2.0\bin\windows資料夾中”Shift+滑鼠右鍵”點選空白處開啟命令提示視窗,執行命令:

.\bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --from-beginning --topic monitorupload

網上一些例子用下面的命令建立消費者:

kafka-console-consumer.bat --zookeeper localhost:2181 --topic topicname

但在我這個環境下執行這個命令,會提示zookeeper是一個不可識別的選項的錯誤:

以上開啟的視窗不要關閉 

然後就可以在Producer控制檯視窗輸入訊息了。在訊息輸入過後,很快Consumer視窗就會顯示出Producer傳送的訊息

呃,,,,在生產者視窗輸入中文,消費者視窗輸出亂碼。。。。開發時要注意啦

相關推薦

Windows平臺kafka單機環境搭建

在安裝zookeeper前,請確認java環境已經正確安裝和配置JAVA_HOME環境變數。否則無法啟動zookeeper和kafka的。 1.安裝Zookeeper  Kafka的執行依賴於Zookeeper,所以在執行Kafka之前我們需要安裝並執行Zookeepe

[Flutter] Windows平臺Flutter開發環境搭建(Andorid Studio)

dem runt tps 點擊 下載頁面 系統屬性 href source runtime 前兩天網友在群裏說起了Flutter,就了解了一下,在手機上跑了它的demo,正接就被打動了。 雖然網上有很多教程,但真正開始的時候,還是會碰到很多坑。下面詳細的講解Flutter

kafka單機環境搭建及其基本使用

connect blank .com OS 9.png cli cati conf www.   最近在搞kettle整合kafka producer插件,於是自己搭建了一套單機的kafka環境,以便用於測試。現整理如下的筆記,發上來和大家分享。後續還會有kafka的研究筆

kafka使用筆記-免認證kafka單機環境搭建及測試

本次使用的kafka為最新的版本,zookeeper均使用kafka自帶版本,僅對相關進行配置即可。 一、準備工作 1、環境:ubuntu16 2、安裝包:開啟此連結 選擇下載的路徑和相應的資料包,我下載的是 kafka_2.11-2.1.0.tgz 版本 3、安裝jdk jdk

IDE+windowskafka原始碼環境搭建

前期準備: step1:安裝JDK1.8 step2:安裝zookeeper3.4.9https://blog.csdn.net/qq_29425617/article/details/85266606 step3: 安裝Gradle-4.10.3https://blog.cs

Windows搭建KAFKA單機環境及常見問題

一:前置條件 安裝好JDK,配置好JAVA_HOME一系列。在命令列輸入java -version出現下面的截圖即可: 注意:(1)預設安裝的jdk在C:\Program Files\Java下的,因為有空格,會影響kafka的使用,要把它轉譯到一個無中文無空格的目錄

Windows平臺kafka環境搭建

注意:請確保本地Java環境變數配置成功 1.安裝Zookeeper Kafka的執行依賴於Zookeeper,所以在執行Kafka之前我們需要安裝並執行Zookeeper 1.

大數據調度平臺 azkaban windows IDEA/eclipse debug 環境搭建

onf bug ces 調試 疑惑 app style linu inux 近些日子需要研究大數據調度平臺azkaban源碼, 發現只有 linux運行的腳本,也沒有windows下面的腳本,下面是怎麽搭建IEDA /eclipse debug運行環境步驟。其實也挺簡單的,

基於CentOS7搭建Kafka單機環境

基於CentOS7搭建Kafka單機環境 作者:家輝,日期:2018-04-13 CSDN部落格: http://blog.csdn.net/gobitan 摘要:本文基於CentOS7搭建了Kafka單機版,並做了簡單使用測試。

單機環境搭建kafka

先說說背景吧,前兩天面試到了一家公司,本打算做JavaEE開發,見我簡歷之前做過神經網路,就問我有沒有興趣做大資料方向。我覺得還可以,畢竟對於我來說是個新領域,於是就答應了,讓我自己先學習,給了我個方向,首先就是搭建環境唄,Spark+Kafka+Tomca

NDK在windows下的開發環境搭建及開發過程

刷新 -1 ont static blog 簡單 包名 mfp targe 在Android應用的開發project中。無論是遊戲還是普通應用。都時常會用到.so即動態鏈接庫,關於.so是什麽玩意兒,有什麽優點。這個大家能夠在網上查一下,本人不做過多解釋。.

windows下python3虛擬環境搭建

python virtualenv pycharm 為了避免安裝過多的python工具包導致python目錄臃腫,甚至不同包之間不兼容,我們有必要為python安裝虛擬python環境——virtualenv。安裝了virtualenv,就可以根據任務創建任意數量的小型的虛擬python環境,

Windows下Java開發環境搭建

環境 輸入 電腦 blog html dev 進行 點擊 develop 1、在cmd中輸入Java,若如下圖所示的提示,則說明當前電腦沒有安裝Java運行環境或者是JDK,則需要手動下載和安裝Java 2、打開網站http://www.oracle.com/index.

windows下 react-native環境搭建

native tar platform ges 必須 bsp clas 通過 code 跟著慕課網做案例,搭建rn環境遇到很大問題。 下面說一下; 首先看一下文檔:http://reactnative.cn/docs/0.44/getting-started.html#co

Kafka單機環境的部署

part localhost dev hup ons height factor .tar.gz ip地址 前面說過Kafka集群環境的部署,現在主要說一下在本地測試中Kafka單機環境的部署,和前面一樣首先保證zookeeper服務的正常運行,然後解壓並釋放kafka安裝

FFmpeg windows軟件開發環境搭建

並且 util avformat 環境 運行程序 頭文件路徑 shu ffplay 開發環境搭建 FFmpeg說明 FFmpeg是一個自由軟件,可以運行音頻和視頻多種格式的錄影、轉換、流功能1,包含了libavcodec ─這是一個用於多個項目中音頻和視頻的解

大數據測試之hadoop單機環境搭建(超級詳細版)

com jvm 末尾 內容 取數 搭建 cluster replicat specific 友情提示:本文超級長,請備好瓜子 Hadoop的運行模式 單機模式是Hadoop的默認模式,在該模式下無需任何守護進程,所有程序都在單個JVM上運行,該模式主要用於開發和調試map

kafka--linux環境搭建

連接 技術分享 console cati 打開 inf ext sum plain 1.JDK 1.8 2.zookeeper 3.4.8 解壓 3.kafka 配置  在kafka解壓目錄下下有一個config的文件夾,裏面放置的是我們的配置文件   consumer.p

centos7中kafka叢集環境搭建部署

一、前期準備 1、下載kafka安裝包 官方下載地址:http://kafka.apache.org/downloads.html kafka_2.11-2.0.0.tgz   2、準備好要安裝的叢集環境的目標機器(3檯安裝centos7系統) 3、將下載好的壓縮包

【halcon教程】halcon 17.12 深度學習北京_賽 車 原始碼平臺出售出租環境搭建

千呼萬喚始出來,北京_賽 車 原始碼平臺出售出租 Q1157880099本帖只針對windos下安裝體驗,有空再給大家寫深度學習教程貼如果你想安裝halcon17,那麼很簡單,硬碟剩餘空間2G,記憶體超過256M,作業系統win7以上即可。但顯然我們的要求不僅如此,因為我們期待已久的深度學習功能。詳細要求見下