搭建要求：

1.CDH環境已經搭建成功，在CDH上搭建kafka，要求用CDH上zookeeper管理kafka而不用kafka自帶的zookeeper

2.kafka_2.11-0.8.2.1.tgz已經上傳到kafka叢集環境中

搭建步驟

1. 主機操作

修改hosts

10.10.0.11 s1-1

10.10.0.12 s1-2

10.10.0.13 s1-3

10.10.0.14 s1-4

10.10.0.15 s2-1

10.10.0.16 s2-2

10.10.0.17 s2-3

10.10.0.18 s2-4

10.10.0.19 s3-1

10.10.0.20 s3-2

10.10.0.21 s3-3

10.10.0.22 s3-4

10.10.0.23 s4-1

10.10.0.24 s4-2

2. zookeeper操作(13/17/21伺服器)

1.cd /usr/lib/zookeeper/conf/

2.vi zoo.cfg

3.新增以下內容

#kafka server

10.10.0.12 s1-2

10.10.0.16 s2-2

10.10.0.20 s3-2

# zookeeper cluster

server.1=s1-3:2888:3888

server.2=s2-3:2888:3888

server.3=s3-3:2888:3888

4.每臺機器上生成myid:

13:

$ echo "1" >/var/lib/zookeeper/myid

17:

$ echo "2" >/var/lib/zookeeper/myid

21:

$ echo "3" >/var/lib/zookeeper/myid

3. kafka操作(12/16/20伺服器)

1.cd /usr/lib/kafka

2.tar -zxvf kafka_2.11-0.8.2.1.tgz

3.cd kafka_2.11-0.8.2.1/config/

4.vi server.properties

broker.id=1,其他兩個為2,3

port=9092 其他兩個為9093,9094

hostname=10.10.0.12，其他兩個為10.10.0.16，10.10.0.20

zookeeper.connect=10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181

4.cdh管理介面重啟zookeeper

依次關閉yarn，HBase，HDFS，zookeeper，然後反順序開啟

5啟動kafka

12/16/20

./bin/kafka-server-start.shconfig/server.properties &

6.測試

1.jps顯示有kakka

2.  建立Topic

./bin/kafka-topics.sh --create --zookeeper10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181 --replication-factor 1 --partitions1 --topic page_visits

3.  檢視命令

./bin/kafka-topics.sh --list --zookeeper10.10.0.13:2181,10.10.0.17:2181,10.10.0.21:2181