2. 程式人生 > >分散式叢集Kafka刪除已經建立的topic

分散式叢集Kafka刪除已經建立的topic

阿新 • • 發佈：2019-02-12

應用場景

按照Kafka叢集的測試和簡單試用博文進行了對Kafka的使用，與topic建立，並且模擬了訊息的生產者，訊息的消費者進行模擬環境，驗證Kafka可以執行，但是想到，建立了topic，如何進行刪掉呢？這是一個問題。

操作步驟

方法一：修改配置檔案，通過命令刪除

修改配置檔案server.properties

 # vim /opt/kafka2.11/config/server.properties

delete.topic.enable=true     #新增這條配置

注：如果想刪除topic，此項配置必須為true，預設為false。配置完重啟kafka、zookeeper。

#然後，才能通過命令刪除topic

# kafka-topics  --delete --zookeeper 【zookeeper server】  --topic 【topic name】

方法二：不修改配置檔案，直接強制刪除

1、刪除kafka儲存目錄/tmp/kafka-logs下對應的topic。【注：刪除所有節點的topic目錄】
2、進入zookeeper客戶端刪掉對應topic
# zkCli.sh -server 127.0.0.1:2181
   找到topic目錄
   ls /brokers/topics
   刪掉對應topic
   rmr /brokers/topic/topic-name
 
   找到目錄
ls /config/topics
   刪掉對應topic
    rmr /config/topics/topic-name  
[[email protected] bin]# zkCli.sh -server 192.168.210.70:2181
Connecting to 192.168.210.70:2181
2017-11-23 17:19:11,418 [myid:] - INFO  [main:[email protected]100] - Client environment:zookeeper.version=3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017 10
 
:13 GMT
2017-11-23 17:19:11,421 [myid:] - INFO  [main:[email protected]100] - Client environment:host.name=hadoop2
2017-11-23 17:19:11,421 [myid:] - INFO  [main:[email protected]100] - Client environment:java.version=1.8.0_152
2017-11-23 17:19:11,423 [myid:] - INFO  [main:[email protected]100] - Client environment:java.vendor=Oracle Corporation
2017-11-23 17:19:11,423 [myid:] - INFO  [main:[email protected]100] - Client environment:java.home=/opt/jdk1.8/jre
2017-11-23 17:19:11,423 [myid:] - INFO  [main:[email protected]100] - Client environment:java.class.path=/opt/zookeeper3.4.10/bin/../build/classes:/opt/zookeeper3.4.10/bin/../build/lib/*.jar:/opt/zookeeper3.4.10/bin/../lib/slf4j-log4j12-1.6.1.jar:/opt/zookeeper3.4.10/bin/../lib/slf4j-api-1.6.1.jar:/opt/zookeeper3.4.10/bin/../lib/netty-3.10.5.Final.jar:/opt/zookeeper3.4.10/bin/../lib/log4j-1.2.16.jar:/opt/zookeeper3.4.10/bin/../lib/jline-0.9.94.jar:/opt/zookeeper3.4.10/bin/../zookeeper-3.4.10.jar:/opt/zookeeper3.4.10/bin/../src/java/lib/*.jar:/opt/zookeeper3.4.10/bin/../conf:.:/opt/jdk1.8/lib/dt.jar:/opt/jdk1.8/lib/tools.jar
2017-11-23 17:19:11,423 [myid:] - INFO  [main:[email protected]100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2017-11-23 17:19:11,424 [myid:] - INFO  [main:[email protected]100] - Client environment:java.io.tmpdir=/tmp
2017-11-23 17:19:11,424 [myid:] - INFO  [main:[email protected]100] - Client environment:java.compiler=<NA>
2017-11-23 17:19:11,424 [myid:] - INFO  [main:[email protected]100] - Client environment:os.name=Linux
2017-11-23 17:19:11,424 [myid:] - INFO  [main:[email protected]100] - Client environment:os.arch=amd64
2017-11-23 17:19:11,424 [myid:] - INFO  [main:[email protected]100] - Client environment:os.version=3.10.0-327.el7.x86_64
2017-11-23 17:19:11,424 [myid:] - INFO  [main:[email protected]100] - Client environment:user.name=root
2017-11-23 17:19:11,424 [myid:] - INFO  [main:[email protected]100] - Client environment:user.home=/root
2017-11-23 17:19:11,424 [myid:] - INFO  [main:[email protected]100] - Client environment:user.dir=/opt/kafka2.11/bin
2017-11-23 17:19:11,425 [myid:] - INFO  [main:[email protected]438] - Initiating client connection, connectString=192.168.210.70:2181 sessionTimeout=30000 watcher=[email protected]
Welcome to ZooKeeper!
2017-11-23 17:19:11,446 [myid:] - INFO  [main-SendThread(192.168.210.70:2181):ClientCnxn$SendThread@1032] - Opening socket connection to server 192.168.210.70/192.168.210.70:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2017-11-23 17:19:11,501 [myid:] - INFO  [main-SendThread(192.168.210.70:2181):ClientCnxn$SendThread@876] - Socket connection established to 192.168.210.70/192.168.210.70:2181, initiating session
2017-11-23 17:19:11,508 [myid:] - INFO [main-SendThread(192.168.210.70:2181):ClientCnxn$SendThread@1299] - Session establishment complete on server 192.168.210.70/192.168.210.70:2181, sessionid = 0x15fe7e814520010, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: 192.168.210.70:2181(CONNECTED) 0] ls /brokers/topics
[xubin, xubin1]
[zk: 192.168.210.70:2181(CONNECTED) 1] ls /config/topics
[xubin, xubin1]
[zk: 192.168.210.70:2181(CONNECTED) 2]

注：兩步全部執行才算徹底刪除topic

相關推薦

分散式叢集Kafka刪除已經建立的topic

應用場景 按照Kafka叢集的測試和簡單試用博文進行了對Kafka的使用，與topic建立，並且模擬了訊息的生產者，訊息的消費者進行模擬環境，驗證Kafka可以執行，但是想到，建立了topic，如何進行刪掉呢？這是一個問題。 操作步驟 方法一：修改配置檔案，通過命令刪除 修改配

kafka刪除和建立topic

kafka操作topic的方法： 1、檢視topic列表：       bin/kafka-topics.sh --zookeeper node1:port,node2:port,node3:port/kafkachroot --list 2、刪除topic :

Kafka分散式叢集安裝

Kafka分散式叢集安裝 目錄 一、下載 二、安裝前提（zookeeper安裝） 三、安裝 2.1　上傳解壓縮 2.2　修改配置檔案 2.3　將kafka的安裝包分發到其他節點 2.4　建立軟連線 2.5　修改

kafka 刪除topic時的隱患

生產上kafka叢集長時間使用會導致topic容器下已被消費的訊息過多，進而導致在重新選主時切換時間長的問題。 追根到底來講切換Leader時間都花費在zookeeper檔案同步上，但是kafka恰恰沒有清理已被消費訊息的機制， 故導致死屍訊息每次在節點重啟或者切主都會時間很常，而zookeeper提供了

Linux下搭建kafka和zk偽分散式叢集【附詳細步驟】

前言 Kafka使用zk的分散式協調服務，將生產者，消費者，訊息儲存（broker，用於儲存資訊，訊息讀寫等）結合在一起。同時藉助zk，kafka能夠將生產者，消費者和broker在內的所有元件在無狀態的條件下建立起生產者和消費者的訂閱關係，實現生產者的負載均衡。kafka搭載zk，通常有3

kafka建立Topic出現的問題

replication factor: 3 larger than available brokers: 1 [2018-12-15 07:25:43,621] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorExceptio

Kafka 單機和偽分散式叢集搭建

  感覺自己越來越像個運維了，真的是所有的分散式的中介軟體基本都搭建了一遍   不得了了。 好 廢話少說 ， 還是來走Kafka 吧 ， 經歷了Rocket MQ ， Kafka 的搭建真的是簡單的不知道多少倍 ， RocketMQ  實在 是太麻煩了。 還是老方

kafka 刪除topic清空資料

原 kafka 刪除topic清空資料 2018年11月20日 18:17:50 Ming！ 閱讀數：1391   一般情況下，是不會刪除資料

kafka 刪除topic

兩種方法：   一、修改配置檔案server.properties     新增如下配置：         delete.topic.enable=true  

kafka完全分散式叢集搭建-kafka_2.11-0.9.0.1

最近在學習分散式的訊息系統kafka，特此記錄搭建kafka叢集過程。 環境： 機器IP與名稱對應關係如下： 192.168.152.192        master 192.168.152.1

.gitignore檔案的作用以及建立，刪除已經提交的檔案

              .gitignore檔案的作用以及建立，刪除已經提交的檔案 　　.gitignore檔案是讓Github忽略某些檔案，使其不提交的。　　 1.建立   　　首先,.gitignor

Kafka刪除topic

兩種方法： 一、修改配置檔案server.properties     新增如下配置：         delete.topic.enable=true 說明：官方給的文件說明“Enables delete topic. Delete topic through the

檢視當前伺服器中的所有的topic，建立topic,刪除topic,通過shell命令傳送訊息，通過shell消費訊息，檢視topic詳情,對分割槽數進行修改

一、 Kafka常用操作命令  檢視當前伺服器中的所有topic [root@hadoop3 kafka]# bin/kafka-topics.sh --list --zookeeper hadoop11:2181 [root@hadoop3 kafk

Kafka建立Topic時如何將分割槽放置到不同的Broker中

關注 iteblog_hadoop 公眾號並在評論區留言（認真寫評論，增加上榜的機會）。留言點贊數排名前5名的粉絲，各免費贈送一本《大資料之路：阿里巴巴大資料實踐》，明天18點就結束了，趕緊去參加吧。 如下面圖片不清晰，請訪問https://www.iteblog.co

kafka 10.版本 以上 如何刪除 kafka broker 中的topic

1、Kafka 刪除topic的命令是： ./bin/windows/kafka-topics.bat --delete --zookeeper IP:Port --topic topic name 此時的刪除並不是真正的刪除，而是把topic標記為：

kafka系列二：多節點分散式叢集搭建

上一篇分享了單節點偽分散式叢集搭建方法，本篇來分享一下多節點分散式叢集搭建方法。多節點分散式叢集結構如下圖所示： 　　為了方便查閱，本篇將和上一篇一樣從零開始一步一步進行叢集搭建。 一、安裝Jdk 　　具體安裝步驟可參考 linux安裝jdk。 二、安裝與配置zookeeper 　　下

12W學習筆記——獨立子查詢，更新，刪除，建立視圖

記錄 date 筆記 獨立 https 清空 名單 sel 方式 查詢的學習進入了最後階段了，接下來我就來介紹一下查詢最後的獨立子查詢。 獨立子查詢基本上都是用SELECT FROM WHERE 三個語句。 例：在學院表、專業表中，查詢人文與管理學院下設各專業的簡稱

git-刪除已經commit的文件並強制更新

remote reflog 1.5 push com m2e git rm pru nal git filter-branch -f --index-filter ‘git rm --cached --ignore-unmatch Spring/day04/32.編程式事務

git如何刪除已經 add 的文件 (如何撤銷已放入緩存區文件的修改)

默認 -s set 緩存 git reset 指定版本 命令 如何 撤銷 使用 git rm 命令即可，有兩種選擇, 一種是 git rm –cached “文件路徑”，不刪除物理文件，僅將該文件從緩存中刪除； 一種是 git rm –f “文件路徑”，不僅將該文件從緩存中

linux下安裝hadoop偽分散式叢集

1.    在虛擬機器上安裝了centos7， 下載hadoop。http://hadoop.apache.org/releases.html  這裡選擇2.7版本而不是3.0版本 不選3.0版本的理由，檢視版本更新日誌