0022-如何永久刪除Kafka的Topic
溫馨提示:要看高清無碼套圖,請使用手機開啟並單擊圖片放大檢視。
1.問題描述
使用kafka-topics --delete命令刪除topic時並沒有真正的刪除,而是把topic標記為:“marked for deletion”,導致重新建立相同名稱的Topic時報錯“already exists”。
2.問題復現
1.登入Kafka叢集所在的伺服器,建立一個test的topic
[[email protected] ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test
2.檢視新建立的topic
[[email protected] ~]# kafka-topics --list --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181
3.通過如下命令刪除新建的topic
[[email protected] ~]# kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test
此處顯示“Topic test is marked for deletion”
4.嘗試重新建立一個test的Topic
[[email protected] ~]# kafka-topics --create --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --replication-factor 1 --partitions 1 --topic test
提示該Topic已存在,說明在第3步操作的刪除並沒有真正的將Topic刪除。
3.問題原因
預設情況下Kafka是禁用了刪除Topic的操作,所以在執行Topic刪除的時候只是將刪除的Topic標記為“marked for deletion”狀態。可以通過修改Kafka服務的配置引數啟用。
4.解決方法
4.1方法1
在kafka服務配置delete.topic.enable=false的情況下,如果需要永久刪除topic則需要做如下操作:
- 通過kafka命令刪除相應的topic
- 在zookeeper中刪除相應的topic
- 在topic所在的broker節點上刪除topic的log資料
操作如下:
1.檢視topic的描述資訊,命令如下
kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test
上圖標註部分為topic對應的資料存放節點
2.通過kafka命令刪除,命令如下:
kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test
3.通過zookeeper客戶端刪除topic,命令如下
zookeeper-client -server ip-172-31-1-175.ap-southeast-1.compute.internal:2181
ls /brokers/topics
rmr /brokers/topics/test
注:標紅部分為topic的名稱
4.登入到第1步中列出的對應節點的topic的log資料目錄,此處我們Kafka的log.dirs目錄配置為/var/local/kakfa,執行命令
[[email protected] data]$ sudo rm -rf test-0/
5.驗證是否生效
建立一個名稱為“test”的Topic,可以正常建立
注意:此處將topic為test的日誌目錄(/var/local/kafka/test-0)刪除後,新建立的topic為test的日誌目錄不存在,重啟Kafka服務後正常,目錄能正常顯示。
4.2方法2
在Kafka服務已配置delete.topic.enable=true的情況下,永久刪除topic需要做如下操作:
- 使用kafka命令刪除topic
操作如下:
- 刪除前資料檢視:
kafka-topics --describe --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test
各個資料節點的資訊:
Zookeeper資訊:
2.通過kafka命令刪除需要刪除的topic,命令如下
kafka-topics --delete --zookeeper ip-172-31-1-175.ap-southeast-1.compute.internal:2181 --topic test
3.檢視Zookeeper客戶端topic資訊
[zk: ip-172-31-1-175.ap-southeast-1.compute.internal:2181(CONNECTED) 9] ls /brokers/topics
4.檢視brober節點上topic的日誌資料
5.刪除後成功後,驗證是否能建立名稱為test的Topic
注意:
如果Kafka服務配置了delete.topic.enable=true,直接通過命令列刪除,未能刪除Topic則可以通過zookeeper-client來進行刪除。
如果Kafka服務未配置delete.topic.enable=true,直接通過delete命令刪除topic,刪除時只會將topic標記為“marked for deletion”,然後通過zookeeper-client進行刪除是不會刪除topic的data.log資料目錄的,需要將相應的broker伺服器上的data.log目錄下相應的topic目錄刪除,data.log目錄獲取,可以通過CM介面檢視:
建議:Kafka服務開啟delete.topic.enable=true,開啟方式如下:
開啟後需要重啟Kafka服務。
醉酒鞭名馬,少年多浮誇! 嶺南浣溪沙,嘔吐酒肆下!摯友不肯放,資料玩的花!
溫馨提示:要看高清無碼套圖,請使用手機開啟並單擊圖片放大檢視。
歡迎關注Hadoop實操,第一時間,分享更多Hadoop乾貨,喜歡請關注分享。
原創文章,歡迎轉載,轉載請註明:轉載自微信公眾號Hadoop實操