Docker的Kafka外網訪問
kafka映象使用wurstmeister/kafka:2.11-0.11.0.2
啟動映象,建立topic、消費者、生產者一切順利。
使用java客戶端訪問時,不斷的報
TimeoutException java.io.EOFException: null
update metadata timeout之類的錯誤。
debug後發現,這個問題和之前redis叢集的問題類似(可以參見我之前的另一篇redis的文章),
程式獲得了cluster叢集的資訊,包括節點和分割槽等metadata,但是返回給資訊是kafka01(如果使用的是IP,那就更不好解決了),外部機器拿到這個hostname是無法訪問docker內的機器的。
因為第一次用kafka,看了看官網的server.properties引數的介紹,嘗試把以下幾個引數統一設定為hostname而不是用IP(沒有逐一驗證DEPRECATED的引數是否需要配置,為了測試就都配上了)。
advertised.host.name = kafka01 (DEPRECATED)
advertised.listeners = PLAINTEXT://kafka01:9092(如果未設定listeners則該引數生效)
advertised.port = 9092 (DEPRECATED)
listeners=PLAINTEXT://kafka01:9092
關鍵的配置:
docker內的hosts使用條目:
docker外的宿主機hosts使用條目,不要使用127.0.0.1這個地址:
######### ip for docker beginr############
192.168.3.25 zk01
192.168.3.25 kafka01
即內外網均使用hostname,但各自的ip配置不同。
之前redis嘗試過這個方式,但是生成的nodes.conf似乎不能識別hostname只能用ip,可能因為外網的hosts配置的ip使用的是127.0.0.1 localhost這個配置導致錯誤。以後試試使用hostname+實際的ip看看能不能解決jediscluster客戶端無法訪問docker中redis叢集的問題。