1. 程式人生 > >4. linux contos6.8下部署kafka集群

4. linux contos6.8下部署kafka集群

linux c 下載 contos path 機器 修改 文件 官網下載 war

有3臺服務器,ip分別為192.168.174.10,192.168.174.11,192.168.174.12。

  1. 官網下載,分別在每臺機器上解壓安裝
    # 創建kafka的安裝目錄
    mkdir -p /usr/local/software/kafka
    # 解壓
    tar -xvf kafka_2.12-1.1.0.tgz -C /usr/local/software/kafka/
  2. 修改每臺服務器的/etc/profile文件,設置kafka環境變量,添加如下內容
    export KAFKA_HOME=/usr/local/software/kafka/kafka_2.12-1.1.0
    export PATH=$PATH:$KAFKA_HOME/bin

    添加完後重啟配置,命令如下:

    source /etc/profile
  3. 修改每臺服務器的$KAFKA_HOME/config下的server.properties文件,修改代理id和日誌存放目錄
    #指定代理id,borker.id可以任意指定,前提是保證集群內每臺機器的broker.id唯一,第二臺機器設置為2...以此類推
    broker.id=1
    #設置日誌目錄
    log.dirs=/opt/data/kafka/kafka-logs
    #設置zookeeper集群地址
    zookeeper.connect=192.168.174.7:2181,192.168.174.8:2181,192.168.174.9:2181
    #設置本機地址,設置為本服務器的ip地址。如果不設置會在創建主題和發送消息時,發生NOT LEADER FOR PARTITION異常。
    host.name=192.168.174.10
  4. 配置完成後,分別啟動3臺服務器的kafka,啟動kafka前確保zookeeper集群已經成功啟動。
    kafka-server-start.sh -daemon server.properties
  5. 驗證是否成功啟動
    jps

    如果看到kafka進程,說明啟動成功。
    另外也可通過zookeeper客戶端查看zookeeper目錄結構,如下:

    #登錄zookeeper
    zkCli . sh -server 192.168.174.7:2181
    #查看目錄結構
    ls /
    #查看已啟動的kafka代理
    ls /brokers/ids

4. linux contos6.8下部署kafka集群