Centos7 Kafka初次安裝部署

環境：虛擬機器，centos7系統。

步驟：

一、安裝JDK1.8以上版本

​ 此處略過

二、zookeeper環境搭建

1、下載Zookeeper並解壓到制定的目錄(或者提前進入到 cd /opt/目錄下，建立資料夾zookeeper mkdir zookeeper)

$ wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7-bin.tar.gz

$ tar -zxvf zookeeper-3.5.7.tar.gz -c /opt/zookeeper

2、進入到zookeeper目錄下的conf

$ cd /opt/zookeeper/conf

3、拷貝zoo_sample.cfg檔案重新命名為zoo.cfg，然後修改dataDir屬性

# 資料的存放目錄 dataDir=/home/hadoop/zkdata(根據個人需求自定義)

# 埠，預設就是2181 clientPort=2181

4、配置環境：vi /etc/profile/

在最後加上

export ZOOKEEPER_HOME=/opt/zookeeper (此處根據自己存放的目錄，和配置jdk是類似的方法)

export PATH=$PATH:$ZOOKEEPER_HOME/bin

寫好之後按ESC，：wq儲存退出！

使環境變數生效命令：source /etc/profile

5、至此，zookeeper安裝完成，檢查是否正確安裝

在zookeeper的bin目錄下執行命令：

$ zkServer.sh start （啟動）

安裝完Zookeeper後，輸入命令啟動後，命令jps，看有沒有QuorumPeerMain程序，有就是啟動成功。

沒有的話，進入Zookeeper的log目錄下檢視日誌，有可能是埠被佔用或者是其他原因，這一塊就需要各位童鞋後續發現了。

$ zkServer.sh stop（停止）

三、kafka單節點環境部署

1、下載kafka並解壓到制定的目錄

$ wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.1.1/kafka_2.12-2.1.1.tgz

$ tar -zxvf kafka_2.12-2.1.1.tgz -c /opt/kafka

2、進入kafka的config目錄下，有一個server.properties，新增如下配置

# broker的全域性唯一編號，不能重複 broker.id=0

# 監聽 listeners=PLAINTEXT:192.168.7.33//:9092

# 日誌目錄 log.dirs=/home/kafka/kafka-logs(使用者自定義)

# 配置zookeeper的連線（如果不是本機，需要該為ip或主機名） zookeeper.connect=localhost:2181（預設埠2181）

3、當時我看其他文件的時候沒有這一步，導致一直啟動不了，就是環境配置！和之前配置jdk和zookeeper一樣，在後面加上

export KAFKA_HOME=/opt/kafka （路徑要根據自己的路徑來）

export PATH=$PATH:$KAFKA_HOME/bin

4、在kafka的bin目錄下啟動：

kafka-server-start.sh $KAFKA_HOME/config/server.properties

啟動正常話會出現大概一兩頁的程式碼。

之後用jps命令檢查程序，會看到有kafka 和 zookeeper的執行緒

5、最好再自己建立topic 確保已經搭建好

$ kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

引數說明：

–zookeeper：指定kafka連線zk的連線url，該值和server.properties檔案中的配置項{zookeeper.connect}一樣

–replication-factor：指定副本數量

–partitions：指定分割槽數量

–topic：主題名稱

檢視所有topic

$ kafka-topics.sh --list --zookeeper localhost:2181 test

啟動生產者

$ kafka-console-producer.sh --broker-list localhost:9092 --topic test

啟動消費者。（在kafka的bin目錄下啟動）

$ kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

四、kafka_exporter元件安裝

github地址：https://github.com/danielqsj/kafka_exporter。可以下載軟體後安裝。