1. 程式人生 > >kafka-confluent管控中心安裝

kafka-confluent管控中心安裝

啟動腳本 3.3 img report 安全 mage sse port -s

https://www.confluent.io/ 一個基於kafka的擴展平臺,我們主要關註其管控中心。

由於監控中心只有企業版才有,所以下載企業版,並進行測試。

進入下載中心,可以看到兩個版本:

技術分享

比對了兩個版本的差異,發現也主要在管控中心、同步和安全上。並且一些功能,不提供windows的啟動腳本,應該是只能在linux上運行

技術分享

安裝管控中心:

http://docs.confluent.io/current/control-center/docs/quickstart.html#base-installation

由於官方文檔,寫的很清晰,這裏只是將一些要點重新記錄一下。

  • 操作系統

centos7

  • JDK

這裏使用的是JDK1.8

  • screen

需要用到的一個後臺命令工具,若沒有可以安裝一個。

yum install screen

  • 安裝位置

/opt/confluent

技術分享

將下載回來的confluent包解壓出來,進入解壓後的confluent-3.3.0目錄(重要,後續的命令行操作,都在該目錄下執行)

  • 啟動zk、kafka和管理中心

啟動zookeeper,配置使用默認配置

$ screen -dmS zookeeper bash -c ./bin/zookeeper-server-start ./etc/kafka/zookeeper.properties; exec bash

設置kafka配置文件,這裏將配置文件放到/tmp目錄下

$ cp ./etc/kafka/server.properties /tmp/kafka-server.properties && sed -i s/#metric.reporters=io.confluent.metrics.reporter.ConfluentMetricsReporter/metric.reporters=io.confluent.metrics.reporter.ConfluentMetricsReporter/g /tmp/kafka-server.properties && sed 
-i s/#confluent.metrics.reporter.bootstrap.servers=localhost:9092/confluent.metrics.reporter.bootstrap.servers=localhost:9092/g /tmp/kafka-server.properties && sed -i s/#confluent.metrics.reporter.zookeeper.connect=localhost:2181/confluent.metrics.reporter.zookeeper.connect=localhost:2181/g /tmp/kafka-server.properties && sed -i s/#confluent.metrics.reporter.topic.replicas=1/confluent.metrics.reporter.topic.replicas=1/g /tmp/kafka-server.properties

啟動kafka

$ screen -dmS kafka bash -c "./bin/kafka-server-start /tmp/kafka-server.properties; exec bash"

添加攔截器的支持

$ cp ./etc/kafka/connect-distributed.properties /tmp/connect-distributed.properties
$ cat <<EOF >> /tmp/connect-distributed.properties

# Interceptor setup
consumer.interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringConsumerInterceptor
producer.interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringProducerInterceptor
EOF

啟動連接器

$ screen -dmS connect-distributed bash -c "./bin/connect-distributed /tmp/connect-distributed.properties; exec bash"

啟動管控中心

$ cp ./etc/confluent-control-center/control-center.properties /tmp/control-center.properties
$ cat <<EOF >> /tmp/control-center.properties

# Quickstart partition and replication values
confluent.controlcenter.internal.topics.partitions=1
confluent.controlcenter.internal.topics.replication=1
confluent.controlcenter.command.topic.replication=1
confluent.monitoring.interceptor.topic.partitions=1
confluent.monitoring.interceptor.topic.replication=1
EOF
$ screen -dmS control-center bash -c "./bin/control-center-start /tmp/control-center.properties; exec bash"

訪問管控中心:

http://localhost:9021/

管控中心提供了一系列監控的功能,之後我們會對這些功能進行分析。

技術分享

kafka-confluent管控中心安裝