Kafka從入門到精通 第二章 kafka的安裝
一 環境準備
1.1 叢集規劃
這裡需要三個節點，分別如下：
linux102 linux103 linux104 zk zk zk kafka kafka kafka
1.2 下載對應jar包
1.3 準備對應的三臺虛擬機器
具體安裝，這裡省略，可以參考我寫的centos7.0安裝說明！
注意，三臺虛擬機器需要都安裝完畢jdk和zookeeper
1.4 Kafka叢集部署
1）解壓安裝包
[[email protected] software]$ tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/module/
2）修改解壓後的檔名稱
[[email protected] module]$ mv kafka_2.11-0.11.0.0/ kafka
3）在/opt/module/kafka目錄下建立logs資料夾
[[email protected] kafka]$ mkdir logs
4）修改配置檔案
[[email protected] kafka]$ cd config/
[[email protected] config]$ vi server.properties
輸入以下內容：
|
#broker的全域性唯一編號，不能重複 broker.id=0 #是否允許刪除topic delete.topic.enable=true #處理網路請求的執行緒數量 num.network.threads=3 #用來處理磁碟IO的執行緒數量 num.io.threads=8 #傳送套接字的緩衝區大小 socket.send.buffer.bytes=102400 #接收套接字的緩衝區大小 socket.receive.buffer.bytes=102400 #請求套接字的最大緩衝區大小 socket.request.max.bytes=104857600 #kafka執行日誌存放的路徑 log.dirs=/opt/module/kafka/logs #topic在當前broker上的分割槽個數 num.partitions=1 #用來恢復和清理data下資料的執行緒數量 num.recovery.threads.per.data.dir=1 #segment檔案保留的最長時間，超時將被刪除 log.retention.hours=168 #配置連線Zookeeper叢集地址 zookeeper.connect=linux105:2181,linux106:2181,linux107:2181 |
5）配置環境變數
[root@linux102 module]# vi /etc/profile
|
#KAFKA_HOME export KAFKA_HOME=/opt/module/kafka export PATH=$PATH:$KAFKA_HOME/bin |
[root@linux102 module]# source /etc/profile
6）分發安裝包
[root@linux102 etc]# xsync profile
[[email protected] module]$ xsync kafka/
7）分別在linux103和linux104上修改配置檔案/opt/module/kafka/config/server.properties中的broker.id=1、broker.id=2
注：broker.id不得重複
8）啟動叢集
依次在linux102、linux103、linux104節點上啟動kafka
[[email protected] kafka]$ bin/kafka-server-start.sh config/server.properties &
[[email protected] kafka]$ bin/kafka-server-start.sh config/server.properties &
[[email protected] kafka]$ bin/kafka-server-start.sh config/server.properties &
9）關閉叢集
[[email protected] kafka]$ bin/kafka-server-stop.sh stop
[[email protected] kafka]$ bin/kafka-server-stop.sh stop
[[email protected] kafka]$ bin/kafka-server-stop.sh stop