單機版kafka、zookeeper安裝
今天剛接觸kafka,網上很多kafka的安裝,這裡只講單機版的安裝以及安裝過程中遇到的問題。
軟體
- JDK1.8(jdk-8u131-linux-x64.rpm)
- zookeeper (zookeeper-3.4.10.tar.gz)
- kafka (kafka_2.12-2.0.0.tgz)
一、JDK安裝
kafka的使用依賴於zookeeper,zk要執行在jvm之上,所以啊,咱們也先安裝jdk.
如果不安裝jdk啟動zk的時候會出現以下問題
Error contacting service. It is probably not running.
二、zookeeper安裝
目前zk的版本如下
我下的是3.4.10
wget http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz
解壓縮
tar -zxvf zookeeper-3.4.10.tar.gz
編輯配置檔案
cd zookeeper-3.4.10/conf/
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
配置如下
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/opt/data/zookeeper
dataLogDir =/var/log/kafka/zk
clientPort=2181
server.1=10.9.201.142:2888:3888
進入bin目錄使用zkServer.sh啟動zk
./zkServer.sh start
檢視啟動情況
./zkServer.sh status
三、安裝kafka
kafka版本如下
下載2.11版
wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz
解壓縮
tar -zxvf kafka_2.12-2.0.0.tgz
啟動kafka
cd kafka_2.12 -2.0.0
cd bin/
./kafka-server-start.sh ../config/server.properties &
使用jps檢視啟動情況
[root@centos7 bin]# jps
19815 Kafka
19032 QuorumPeerMain
33307 Jps
QuorumPeerMain是zk的程序。
四、測試kafka
建立一個topic
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test_kafka
檢視建立的topic
[[email protected] bin]# ./kafka-topics.sh --list --zookeeper localhost:2181
__consumer_offsets
test_kafka
啟動消費者
./kafka-console-consumer.sh --bootstrap-server localhost:2181 --topic test_kafka --from-beginning
注意:新版的kafka只能使用–bootstrap-server來啟動,zookeeper的指令已經被取消了。
在新的shell中啟動生產者
./kafka-console-producer.sh --broker-list localhost:9092 --topic test_kafka
啟動之後輸入訊息,在消費者的shell中就可以接收到生產者中輸入的資訊。
到這裡kafka的單機安裝就結束了。
相關推薦
單機版kafka、zookeeper安裝
今天剛接觸kafka,網上很多kafka的安裝,這裡只講單機版的安裝以及安裝過程中遇到的問題。 軟體 JDK1.8(jdk-8u131-linux-x64.rpm) zookeeper (zookeeper-3.4.10.tar.gz) kafka (ka
【一】linux安裝redis(單機版)、3種啟動方式、及配置檔案介紹。
環境ubuntu16.04 解壓 tar -zxvf redis-3.2.6.tar.gz 修改資料夾名稱 mv redis-3.2.6 redis 編譯 cd /app/redis make 編譯好後會看到redis.conf和src檔案 安裝 cd
centos下安裝單機版kafka-0.10.0.1
1.環境說明 主機資訊如下: 1[[email protected] soft]# hostname2test13[[email protected] soft]# cat /etc/hosts4127.0.0.1 localh
Zookeeper(五):單機版測試、叢集測試、建立根節點
我們已經搭建好了zookeeper的單機版、偽叢集版、叢集版,現在啟動客戶端連上zkServer進行測試一、單機版測試1.1、命令測試連線上zookeeper的server:zkCli.sh -server 192.168.133.149:2180# 連線zookeeper單
單機配置kafka和zookeeper
events style loser fluent RM topic ssa url zookeepe 1:環境準備 jdk 推薦oracle,不建議open sdk 在/etc/profile加入下列環境變量 在PATH中將jdk和jre的bin加入path裏面 $J
六、zookeeper安裝
none tar ini star javase oracle sid www 服務器 Zookeeper 概述ZooKeeper是一種分布式協調服務,用於管理大型主機。在分布式環境中協調和管理服務是一個復雜的過程。ZooKeeper通過其簡單的架構和API解決了這個問題。
單機版的redis的安裝以及redis生產環境啟動方案
▌大綱 1、安裝單機版的redis 2、redis的生產環境啟動方案 3、redis cli的使用 ▌1、安裝單機版redis wget http://downloads.sourceforge.net/tcl/tcl8.6.1-src.tar.gz tar -zx
生產環境單機版Redis5.0的安裝和啟動方案
目錄 安裝單機版redis redis的生產環境啟動方案 redis的啟動和關閉 redis 配置公網可訪問 安裝 wget http://download.redis.io/releases/re
nodejs之簡單的秒殺系統實現(mysql、redis、kafka、zookeeper、postman或docker)
nodejs之簡單的秒殺系統實現(mysql、redis、kafka、zookeeper或docker) 一:環境 二:工具說明 三:程式碼實現 四:啟動專案 五:測試 一:環境 1.一臺阿里雲
mac下單機版 kafka + spark + python搭建與例項
kafka+zookeeper 不提供spark安裝,這裡從kafka安裝開始 首先下載kafka和zookeeper brew install zookeeper 等它安裝完畢,先進入zookeeper資料夾,往往在/usr/local/Cella
Centos下Spark單機版(python)安裝配置
如果上面都成功了,那說明我們就基本安裝成功了,可以用scala或者python來開發相關程式了。但是如果我們希望能夠在一個很清新的IDE中開發程式怎麼辦?那麼這裡強烈推薦一款互動式的開發工具-jupyter notebook。接下來我們就來配置該工具,以保證能連線上sprak。
大資料之hadoop單機版虛擬機器Vmware安裝教程
為深入學習hadoop,需要在個人電腦中安裝cloudera_centos虛擬機器。本篇文件介紹的就是關於cloudera_centos虛擬機器的安裝教程。(推薦使用virtualbox
最新版hadoop2.7.1單機版與偽分散式安裝配置
前提:熟悉Linux系統操作,掌握基本的Linux命令 注意:安裝路徑中不能有任何中文字元和空格! 我安裝的是ubuntu14,使用者名稱是ubuntu,機器名是ubuntu,hadoop的版本是hadoop-2.7.1.tar.gz 一、在Ubuntu下建立hadoop
redis、kafka、zookeeper 叢集辨析
叢集的目的: 1.保證高可用 2.增強併發能力,提高系統的吞吐量。
CentOS6.5下kafka+ZooKeeper下載與安裝詳細教程-單機版
(注:在大資料分析系統中,不會安裝單機版,所以可以直接去看多機版教程,多機版教程也是完整的。) 下載zookeeper: 安裝zookeeper: 將zookeeper-3.4.6.tar.gz拿U盤複製到/home/hadoop目錄下 cd /home/hadoo
kafka在linux安裝單機版(--zookeeper未識別的坑)
kafka安裝評測 下載地址:http://archive.apache.org/dist/kafka/2.0.0/ 可以直接通過wget下載 依賴jdk環境 可以安裝在/usr/local中 vim server.properties 修改對外的IP地址,否則kafka在
kafka+zookeeper環境配置(linux環境單機版)
producer lai ror detail gin prop tex wget start 版本: CentOS-6.5-x86_64 zookeeper-3.4.6 kafka_2.10-0.10.1.0 一.zookeeper下載與安裝 1)下載 $ wge
【kafka】簡單安裝kafka單機版
kafka topic 1.安裝kafka下載地址 : https://www.apache.org/dyn/closer.cgi?path=/kafka/0.9.0.0/kafka_2.11-0.9.0.0.tgzrz tar zxf kafka_2.11-0.9.0.0.tgz mv kafka_
zookeeper單機版安裝
zookeeper ZooKeeper是一個分布式的,開放源碼的分布式應用程序協調服務,是Google的Chubby一個開源的實現,是Hadoop和Hbase的重要組件。它是一個為分布式應用提供一致性服務的軟件,提供的功能包括:配置維護、域名服務、分布式同步、組服務等。ZooKeeper的目標就是封裝好復雜易
Kubernetes(k8s)入門、單機版安裝、kuberctl指令、k8s服務實例
單機版 nbsp href Kubernete net 實例 http itl 安裝 https://blog.csdn.net/qq_34701586/article/details/78732470Kubernetes(k8s)入門、