Centos下kafka 單機配置部署詳解

前提：

Linux版本：CentOS release 6.6 (Final) 
JDK版本：jdk-7u71-linux-x64.tar.gz 
zookeeper版本：zookeeper-3.3.6.tar.gz 
kafka版本：kafka_2.11-0.9.0.1.tgz

1、安裝JDK

• 步驟1：新建路徑/usr/java, 並在其下解壓 jdk-7u71-linux-x64.tarmkdir -p /usr/java
  tar -zxvf jdk-7u71-linux-x64.tar.gz驟2：新增JDK到系統環境變數

[root@test
 
 java]# vi /etc/profile 

新增以下內容：
export JAVA_HOME=/usr/java/jdk1.7.0_71
export PATH=JAVAHOME/bin:$JAV{A}_{H}OME/bin:$PATH
export CLASSPATH=.:JAVAHOME/lib/dt.jar:$JAV{A}_{H}OME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

• 步驟3：使配置生效

source /etc/profile #使配置檔案立即生效 

• 驗證是否安裝成功

[root@test java]# java -version 
java version "1.7.0_71"
 
 
Java(TM) SE Runtime Environment (build 1.7.0_71-b14) 
Java HotSpot(TM) 64-Bit Server VM (build 24.71-b01, mixed mode) 

2、安裝zookeeper

• 步驟1：解壓zookeeper安裝包(路徑無關，我放在/home/自己的路徑下了)

tar -zxvf zookeeper-3.3.6.tar.gz 

• 步驟2：配置環境變數

export zookeeper_home=/home/laoyang/zookeeper 

• 步驟3：使配置生效

source /etc/profile 
 

• 驗證是否安裝成功：

[[email protected] bin]# sh $zookeeper_home/bin/zkServer.sh start 
JMX enabled by default 
Using config: /home/laoyang/zookeeper/bin/../conf/zoo.cfg 
grep: /home/laoyang/zookeeper/bin/../conf/zoo.cfg: No such file or directory 
Starting zookeeper ... STARTED

3、安裝kafka

• 步驟1：解壓&移動到/usr/local

tar -xzvf kafka_2.11-0.9.0.1.tgz
mv kafka_2.11-0.9.0.1 /usr/local/kafka

• 步驟2：配置kafka，修改server.properties

mkdir /usr/local/kafka/log/kafka #建立kafka日誌目錄 
cd /usr/local/kafka/config #進入配置目錄 
vi server.properties #編輯修改相應的引數 
broker.id=0 
port=9092 #埠號 
host.name=10.8.5.101 #伺服器IP地址，修改為自己的伺服器IP 
log.dirs=/usr/local/kafka/log/kafka #日誌存放路徑，上面建立的目錄 
zookeeper.connect=localhost:2181 #zookeeper地址和埠，單機配置部署，localhost:2181 

• 步驟3、配置kafka下的zookeeper

mkdir /usr/local/kafka/zookeeper #建立zookeeper目錄 
mkdir /usr/local/kafka/log/zookeeper #建立zookeeper日誌目錄 
cd /usr/local/kafka/config #進入配置目錄 
vi zookeeper.properties #編輯修改相應的引數 
dataDir=/usr/local/kafka/zookeeper #zookeeper資料目錄 
dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日誌目錄 
clientPort=2181 
maxClientCnxns=100 
tickTime=2000 
initLimit=10 

• 步驟4：建立啟動、關閉kafka指令碼

– 1）建立啟動kafka指令碼

vi kafkastart.sh #編輯，新增以下程式碼

#!/bin/bash
#啟動zookeeper
/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &
sleep 3 #等3秒後執行

啟動kafka
/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

– 2）建立關閉kafka指令碼

#!/bin/bash
#關閉zookeeper
/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &
sleep 3 #等3秒後執行

#關閉kafka
/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &

– 3）#新增指令碼執行許可權

chmod +x kafkastart.sh
chmod +x kafkastop.sh

– 4）設定指令碼開機自動執行

vi /etc/rc.d/rc.local #編輯，在最後新增一行 
sh /usr/local/kafka/kafkastart.sh & ＃設定開機自動在後臺執行指令碼 
sh /usr/local/kafka/kafkastart.sh #啟動kafka 
sh /usr/local/kafka/kafkastop.sh #關閉kafka 

至此，經過1,2,3Linux下Kafka單機安裝配置完成。

4、測試kafka

• 步驟1：啟動zookeeper

[[email protected] bin]# sh $zookeeper_home/bin/zkServer.sh start 
JMX enabled by default 
Using config: /home/laoyang/zookeeper/bin/../conf/zoo.cfg 
grep: /home/laoyang/zookeeper/bin/../conf/zoo.cfg: No such file or directory 
Starting zookeeper ... STARTED 

• 步驟2：啟動kafka

[root@test kafka]# ./kafkastart.sh

• 步驟3：測試建立topic

cd /usr/local/kafka/bin 
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test 

• 步驟4：通過list命令檢視建立的topic

cd /usr/local/kafka/bin 
./kafka-topics.sh –list –zookeeper localhost:2181 

• 步驟5：生產訊息測試

[[email protected] bin]# ./kafka-console-producer.sh --broker-list localhost:9092 --topic test 
laoyang I love you! 

步驟6：消費訊息測試

[[email protected] bin]# ./kafka-console-consumer.sh –zookeeper localhost:2181 –topic test –from-beginning
I’m laoyang #之前測試輸入的內容
laoyang I love you!

經過以上6步，代表kafka安裝成功。

5、停止kafka

• 步驟1：停止Kafka

cd /usr/local/kafka 
[root@test kafka]# ./kafkastop.sh 

• 步驟2：停止Zookeeper server

sh $zookeeper_home/bin/zkServer.sh stop 

至此，啟動，測試，停止全過程ok。