1. 程式人生 > >Spark HA 配置中spark.deploy.zookeeper.url 的意思

Spark HA 配置中spark.deploy.zookeeper.url 的意思

pts ubun 後來 spark 錯誤 解密 mas java 說明

Spark HA的配置網上很多,最近我在看王林的Spark的視頻,要付費的。那個人牛B吹得很大,本事應該是有的,但是有本事,不一定就是好老師。一開始吹中國第一,吹著吹著就變成世界第一。就算你真的是世界第一,視頻(2.Spark內核解密(11-43講全)中的第12課)裏關於spark.deploy.zookeeper.url的說法是錯誤的。他說應該配置的是spark的master的地址,後來他在配置的幾臺機器上都啟動了Spark master和zookeeper。實際上這裏的URL指的是zookeeper的URL。比如下面的配置:

SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=ubuntu3:2181,ubuntu4:2181,ubuntu5:2181"

我們需要在ubuntu3~ubuntu5中都啟動zookeeper,我們可以在ubuntu1和ubuntu2上分別啟動master。同樣可以實現高可用。這說明了他說的是錯誤的。

Spark HA 配置中spark.deploy.zookeeper.url 的意思