小鵬汽車就門店搬遷開展迷信活動道歉：影響公序良俗，已停業整頓
阿新 • • 發佈：2022-02-28
# 建立主題 my-topic1 副本(replication-factor) 3 分割槽(partitions)3 # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --create --topic my-topic1 --replication-factor 3 --partitions 3 # 增加分割槽到16 引數 --alter --partitions # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --topic my-topic1 --alter --partitions 16 # 刪除主題 --delete，為了能夠刪除主題，broker的delete.topic.enable引數必須設定為true。如果該引數被設為false,刪除主題的請求會被忽略。預設為false. # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --topic my-topic1 --delete # 列車所有主題 # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --list log-format my-topic my-topic1 - marked for deletion test # 列出所有主題的詳細資訊。引數 --describe # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe # 列出所有包含不同步副本的分割槽。引數 --under-replicated-partitions # ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe --under-replicated-partitions # 列車所有沒有首領的分割槽，這些分割槽是離線狀態，對於生產者和消費者來說是不可用的。引數--unavailable-partitions ./bin/kafka-topics.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe --unavailable-partitions ###消費者群組，使用kafka-consumer-group.sh工具可以用於列出消費者群組 # 舊版本的消費者客戶端，可以使用--zookeeper和list引數列出消費者群組； # ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181 --list Note: This will only show information about consumers that use ZooKeeper (not those using the Java consumer API). console-consumer-71980 # 使用新版本的消費者客戶端時，則要使用--bootstarap-server、--list和--new-consumer引數 # ./bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.37.130:9092,192.168.37.131:9092,192.168.37.132:9092 --list # 使用--describe替代--list，並通過--group指定特定的群組，獲取該群組的詳細資訊。它會列出群組裡所有主題的資訊和每個分割槽的偏移量 # 舊版本 # ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --describe --group console-consumer-71980 # 新版本 # ./bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 192.168.37.130:9092,192.168.37.131:9092,192.168.37.132:9092 --describe --group console-consumer-71980 # 刪除群組 # 只有舊版本的消費者客戶端才支援刪除群組的操作。刪除群組操作將從zookeeper上移除整個群組，包括所有已儲存的偏移量。在執行前，必須關閉所有的消費者。 # ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --delete --group console-consumer-71981 # 刪除群組-指定主題 # ./bin/kafka-consumer-groups.sh --zookeeper 192.168.37.130:2181,192.168.37.131:2181,192.168.37.132:2181 --delete --group console-consumer-71981 --topic my-topic ## 偏移量管理 # 匯出偏移量 # ./bin/kafka-run-class.sh kafka.tools.ExportZkOffsets -zookeeper 192.168.37.130:2181 --group console-consumer-71981 --output-file filename # 手動修改偏移量 # ./bin/kafka-consumer-groups.sh --bootstrap-server 10.20.1.196:9092 --group jsis-group-biaozhun --reset-offsets --topic carInfoUp --to-offset 17307399 --execute # ./bin/kafka-consumer-groups.sh --bootstrap-server 10.20.1.196:9092 --group jsis-group-biaozhun --reset-offsets --topic carServiceInfoUp --to-offset 3755699 --execute # 檢視偏移量 # ./bin/kafka-console-consumer.sh --bootstrap-server 172.18.2.50:9092 --topic carServiceAlteration2 --from-beginning # 檢視消費組 # ./kafka-consumer-groups.sh --bootstrap-server 10.20.1.196:9092 --list ./kafka-topics.sh --zookeeper 172.18.106.202:2181 --topic parkOutUp2 --describe # 檢視消費組 # ./bin/kafka-consumer-groups.sh --bootstrap-server 172.18.2.50:9092 --list # 檢視資料積壓偏移量 # ./bin/kafka-consumer-groups.sh --bootstrap-server 172.18.2.50:9092 --group bishan.mcity --describe|grep -w bishan.mcity.park.in
# 檢視大於100的資料積壓偏移量
./bin/kafka-consumer-groups.sh --bootstrap-server 172.18.2.50:9092 --group bishan.mcity --describe|awk '{if (int($5)>100) { print $1,$5,$7}}'|sort -n 1.檢視topic的詳細資訊 ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1 2、為topic增加副本 ./kafka-reassign-partitions.sh -zookeeper 127.0.0.1:2181 -reassignment-json-file json/partitions-to-move.json -execute 3、建立topic ./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testKJ1 4、為topic增加partition ./bin/kafka-topics.sh –zookeeper 127.0.0.1:2181 –alter –partitions 20 –topic testKJ1 5、kafka生產者客戶端命令 ./kafka-console-producer.sh --broker-list localhost:9092 --topic testKJ1 6、kafka消費者客戶端命令 ./kafka-console-consumer.sh -zookeeper localhost:2181 --from-beginning --topic testKJ1 7、kafka服務啟動 ./kafka-server-start.sh -daemon ../config/server.properties 8、下線broker ./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper 127.0.0.1:2181 --broker #brokerId# --num.retries 3 --retry.interval.ms 60 shutdown broker 9、刪除topic ./kafka-run-class.sh kafka.admin.DeleteTopicCommand --topic testKJ1 --zookeeper 127.0.0.1:2181 ./kafka-topics.sh --zookeeper localhost:2181 --delete --topic testKJ1 10、檢視consumer組內消費的offset ./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper localhost:2181 --group test --topic testKJ1