kafka建立Topic出現的問題
replication factor: 3 larger than available brokers: 1
[2018-12-15 07:25:43,621] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: replication factor: 3 larger than available brokers: 1
(kafka.admin.TopicCommand$)
需要去看一下配置檔案
vi server.properties
需要配置的引數:
############################# Server Basics #############################
broker.id=1
############################# Socket Server Settings #############################
listeners=PLAINTEXT://hadoop01:9092
############################# Log Basics #############################
log.dirs=/usr/local/kafka_2.11-0.10.2.1/data
############################# Zookeeper #############################
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181
我出現的錯誤的原因是在啟動多臺kafka時的監聽埠都配置成了:listeners=PLAINTEXT://hadoop01:9092導致的原因
關於kafka啟動的命令:
/usr/local/kafka_2.11-0.10.2.1/bin/kafka-server-start.sh /usr/local/kafka_2.11-0.10.2.1/config/server.properties >> /var/kafka.log 2>&1 &
建立topic:
/usr/local/kafka_2.11-0.10.2.1/bin/kafka-topics.sh --create --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181 --replication-factor 3 --partitions 3 --topic user