上週客串了一下面試官，在這裡就簡單記錄一下期間我問到的一些關於 Kafka 的面試題目，這些都是我平時在學習 Kafka 的一些總結要點。

• 談談你對 kafka 的整體認識？

問這個問題主要是想知道面試者對 Kafka 的整體認識如何，能夠大致瞭解清楚面試者對 Kafka 的相關概念的熟悉程度，比如訊息、topic、partition、replica、offset、重平衡、leader/follower、ISR 等等。

• 談談 Kafka 吞吐量為何如此高？

多分割槽、batch send、kafka Reator 網路模型、pagecache、sendfile 零拷貝、資料壓縮。

• 談談你對生產者儲水池機制的理解

sender 執行緒工作機制、ByteBuffer 緩衝區的作用等等：

• 如何提高kafka吞吐量？

生產端調整 batch.size、linger.ms 引數，以及主題分割槽數合理分配等。

• 生產者producer是執行緒安全的嗎？多執行緒例項還是單執行緒例項優缺點？

• 消費者 consumer 是執行緒安全的嗎？多執行緒例項、單執行緒例項、單 consumer + 多 worker 執行緒的優缺點？

• 訊息拉取時，什麼情況下會造成訊息重複消費？談談你對位移提交的理解？

理解訊息交付語義：

最多一次（atmostonce）：訊息可能丟失也可能被處理，但最多隻會被處理一次；

至少一次（atleastonce）：訊息不會丟失，但可能被處理多次；

精確一次（exactlyonce）：訊息被處理且只會被處理一次。

假若消費者在消費前提交位移，那麼就是“最多一次”，若在消費後提交位移，那麼就是“最少一次”，如果能夠保證消費和提交位移同在一個事務中執行，就可保證“精確一次”。__consumer_offsets的一些理解。

• 什麼時候會產生消費組重平衡以及重平衡會涉及到哪些相關引數、頻繁重平衡會造成哪些後果？

消費組成員變更、主題數量變更、訂閱資訊變更；session.timeout.ms、max.poll.interval.ms、hearbeat.interval.ms；

相關文章：Kafka重平衡機制

• kafka預設不支援自動分割槽重分配，那麼如果讓你來執行分割槽重分配，有哪幾個步驟，以及在重分配過程中kafka會有哪些動作？

RAR、OAR、AR、RAR-OAR、OAR-RAR 相關概念，

相關文章：記一次 Kafka 線上擴容、Kafka 分割槽重分配原始碼分析

• 談談你對 Preferred leader 選舉的理解？

在 broker 掛掉之後，分割槽 leader 會變更，久而久之就會變得不均衡，Kafka 預設序號最小的副本為 Preferred leader，在 broker 重啟回來後，Kafka 會重新調整分割槽的 Preferred leader 成為 leader，Preferred leader 選舉分為手動選舉和自動選舉，涉及引數 auto.leader.rebalance.enable，還有個預設允許 10% 不均衡策略等等。

• 談談你對 ISR 副本同步的理解？ISR副本同步的缺陷有哪些？

相關文章：Kafka ISR 副本同步機制

• 談談你對水印備份機制的理解？LEO 更新機制、HW 更新機制？

相關文章：圖解：Kafka 水印備份機制

• 水印備份機制的一些缺陷？資料丟失、資料離散？如何解決的（leader epoch）

相關文章：圖解：Kafka 水印備份機制

• 談談你對 controller 機制的理解？controller 主要有哪些功能？

更新叢集元資料資訊、建立主題、刪除主題、分割槽重分配、preferred leader 副本選舉、主題分割槽擴充套件、broker 加入叢集、broker 崩潰、受控關閉、controller leader 選舉。

• Kafka 的日誌儲存機制？

每個分割槽擁有單獨的日誌（partition log）、順序寫、到一定大小分成日誌段檔案（log segment file）、每個 log 檔案對應一個索引檔案（.index .timeindex）等等。

• Kafka 分割槽數越多效能就越好嗎？為什麼？

我的理解：

1. 每個分割槽數都對應一個 log 檔案，log 檔案是順序寫的，但如果有非常多分割槽同時刷盤，就會變相成亂序寫了，我猜想這也是為什麼 RocketMQ 一個 broker 只會擁有一個 CommitLog 的原因之一吧；
2. 客戶端會為每個分割槽呼叫一條執行緒處理，多執行緒併發地處理分割槽訊息，分割槽越多，意味著處理的執行緒數也就越多，到一定程度後，會造成執行緒切換開銷大；
3. 其中一個 broker 掛掉後，如果此時分割槽特別多，Kafka 分割槽 leader 重新選舉的時間大大增加；
4. 每個分割槽對應都有檔案控制代碼，分割槽越多，系統檔案控制代碼就越多；

5. 客戶端在會為每個分割槽分配一定的緩衝區，如果分割槽過多，分配的記憶體也越大。

   更多精彩文章請關注作者維護的公眾號「後端進階」，這是一個專注後端相關技術的公眾號。
   關注公眾號並回復「後端」免費領取後端相關電子書籍。
   歡迎分享，轉載請保留出處。

相關推薦