1 叢集安裝部署

• 1、下載安裝包（http://kafka.apache.org）

  • https://archive.apache.org/dist/kafka/1.1.0/kafka_2.11-1.1.0.tgz

  kafka_2.11-1.1.0.tgz
  

• 2、規劃安裝目錄

  /bigdata/install
  

• 3、上傳安裝包到伺服器中

  通過FTP工具上傳安裝包到node01伺服器上
  

• 4、解壓安裝包到指定規劃目錄

  tar -zxvf kafka_2.11-1.1.0.tgz -C /bigdata/install
  

• 5、重新命名解壓目錄

  mv kafka_2.11-1.1.0 kafka
  

• 6、在hadoop01上修改配置檔案

  • 進入到kafka安裝目錄下有一個config目錄，修改配置資訊 vi server.properties

    #指定kafka對應的broker id ，唯一
    broker.id=0
    #指定資料存放的目錄
    log.dirs=/bigdata/install/kafka/kafka-logs
    #指定zk地址
    zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181
    #指定是否可以刪除topic ,預設是false 表示不可以刪除
    delete.topic.enable=true
    #指定broker主機名
    host.name=hadoop01
    

  • 配置kafka環境變數 sudo vi /etc/profile

    export KAFKA_HOME=/bigdata/install/kafka
    export PATH=$PATH:$KAFKA_HOME/bin
    

• 6、分發kafka安裝目錄到其他節點

  scp -r kafka hadoop02:/bigdata/install
  scp -r kafka hadoop03:/bigdata/install
  
  ## hadoop02/hadoop03上都加上環境變數
  export KAFKA_HOME=/bigdata/install/kafka
  export PATH=$PATH:$KAFKA_HOME/bin
  

• 7、修改hadoop02和hadoop03上的配置

  • hadoop02

    上修改配置檔案 vi server.properties

    #指定kafka對應的broker id ，唯一
    broker.id=1
    #指定資料存放的目錄
    log.dirs=/bigdata/install/kafka/kafka-logs
    #指定zk地址
    zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181
    #指定是否可以刪除topic ,預設是false 表示不可以刪除
    delete.topic.enable=true
    #指定broker主機名
    host.name=hadoop02
    

  • hadoop03 上修改配置檔案 vi server.properties

    #指定kafka對應的broker id ，唯一
    broker.id=2
    #指定資料存放的目錄
    log.dirs=/bigdata/install/kafka/kafka-logs
    #指定zk地址
    zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181
    #指定是否可以刪除topic ,預設是false 表示不可以刪除
    delete.topic.enable=true
    #指定broker主機名
    host.name=hadoop03
    

• 8、讓每臺節點的kafka環境變數生效

  • 在每臺伺服器執行命令

    source /etc/profile
    

2 kafka叢集啟動和停止

• 1、啟動kafka叢集

  • 先啟動zookeeper叢集，然後在所有節點如下執行指令碼

    nohup kafka-server-start.sh /bigdata/install/kafka/config/server.properties >/dev/null 2>&1 &
    

• 2、停止kafka叢集

  • 所有節點執行關閉kafka指令碼

    kafka-server-stop.sh