Kafka安裝配置

我們使用5臺機器搭建Kafka叢集：

1. cluster-1-namenode-1-001       172.16.0.147

2. cluster-1-datanode-1-001       172.16.0.144

3. cluster-1-datanode-1-003       172.16.0.145

4. cluster-1-datanode-1-002       172.16.0.146

5. cluster-1-datanode-1-004       172.16.0.148

由於之前已經安裝了Zookeeper，就不再使用Kafka自帶的Zookeeper。

首先，在namenode上準備Kafka安裝檔案，執行如下命令：

cd /opt

tar -xvzf kafka_2.11-0.10.0.0.tgz

解壓好之後，修改配置檔案/opt/kafka_2.11-0.10.0.0/config/server.properties，原配置為：

broker.id=0

zookeeper.connect=localhost:2181

修改為：

broker.id=0

listeners=PLAINTEXT://cluster-1-namenode-1-001:9092

advertised.listeners=PLAINTEXT://cluster-1-namenode-1-001:9092

log.dirs=/opt/kafka_2.11-0.10.0.0/logs/kafka-logs

zookeeper.connect=cluster-1-namenode-1-001:2181,cluster-1-datanode-1-001:2181,cluster-1-datanode-1-003:2181,cluster-1-datanode-1-002:2181,cluster-1-datanode-1-004:2181

這裡需要說明的是，預設Kafka會使用ZooKeeper預設的/路徑，這樣有關Kafka的ZooKeeper配置就會散落在根路徑下面，如果你有其他的應用也在使用ZooKeeper叢集，檢視ZooKeeper中資料可能會不直觀，所以強烈建議指定一個chroot路徑，直接在zookeeper.connect配置項中指定。

由於kafka-logs不存在，建立並給與許可權：

cd /opt/kafka_2.11-0.10.0.0/logs

mkdir kafka-logs

chmod -R 777 kafka-logs

然後，將配置好的檔案同步到datanode節點上：

scp -r /opt/kafka_2.11-0.10.0.0/ cluster-1-datanode-1-001:/opt/

scp -r /opt/kafka_2.11-0.10.0.0/ cluster-1-datanode-1-003:/opt/

scp -r /opt/kafka_2.11-0.10.0.0/ cluster-1-datanode-1-002:/opt/

scp -r /opt/kafka_2.11-0.10.0.0/ cluster-1-datanode-1-004:/opt/

並修改/opt/kafka_2.11-0.10.0.0/config/server.properties內容：

broker.id=1

listeners=PLAINTEXT:// cluster-1-datanode-1-001:9092

advertised.listeners=PLAINTEXT:// cluster-1-datanode-1-001:9092

 # 在cluster-1-datanode-1-001修改

broker.id=2

listeners=PLAINTEXT:// cluster-1-datanode-1-002:9092

advertised.listeners=PLAINTEXT:// cluster-1-datanode-1-002:9092

 # 在cluster-1-datanode-1-002修改

broker.id=3

listeners=PLAINTEXT:// cluster-1-datanode-1-003:9092

advertised.listeners=PLAINTEXT:// cluster-1-datanode-1-003:9092

 # 在cluster-1-datanode-1-003修改

broker.id=4

listeners=PLAINTEXT:// cluster-1-datanode-1-004:9092

advertised.listeners=PLAINTEXT:// cluster-1-datanode-1-004:9092

  # 在cluster-1-datanode-1-004修改

因為Kafka叢集需要保證各個Broker的id在整個叢集中必須唯一，需要調整這個配置項的值。

通過檢查程序狀態，使用守護程序模式啟動kafka，保證kafka叢集啟動成功，並且kafka不會自動關閉：

./kafka-server-start.sh -daemon /opt/kafka_2.11-0.10.0.0/config/server.properties &

分別啟動節點上的kafka。

測試kafka的狀態

1. 在namenode上建立mytest主題（kafka有幾個，replication-factor就填幾個）

[[email protected] bin]# ./kafka-topics.sh --create --topic mytest --replication-factor 5 --partitions 2 --zookeeper cluster-1-namenode-1-001:2181

Created topic "mytest".

[[email protected] bin]#

1. 在namenode上檢視剛才建立的mytest主題

[[email protected] bin]# ./kafka-topics.sh --list --zookeeper cluster-1-namenode-1-001:2181

idoall

idoall_testTopic

my_test

mytest

test

[[email protected] bin]#

1. 在datanode1上傳送訊息至kafka，傳送訊息“this is for test”

[[email protected] bin]# ./kafka-console-producer.sh --broker-list cluster-1-namenode-1-001:9092 --sync --topic mytest

this is for test

1. 在datanode2上開啟一個消費者，模擬consumer，可以看到剛才傳送的訊息

[[email protected] bin]# ./kafka-console-consumer.sh --zookeeper cluster-1-namenode-1-001:2181 --topic mytest --from-beginning

this is for test

^CProcessed a total of 1 messages

[[email protected] bin]#