執行中的Storm叢集修,改配置引數後重啟失敗的問題
阿新 • • 發佈:2018-12-19
一、問題描述:
對於已經搭建好的Storm叢集,啟動後上面已經執行很多topology,此時想要修改storm的叢集配置引數(storm.yarm)後重新啟動叢集,雖然storm中nimbus和web-ui程序能夠正常啟動,但是實際後臺ui的日誌總是報錯,而且嘗試在localhost:8080開啟storm ui的時候也一直重新整理不出來。
二、問題分析與解決辦法:
storm 的web-ui一直重新整理而打不開,並且檢視使用storm ui
命令啟動時候報錯連結nimbus失敗,分析是nimbus啟動失敗或者異常,重點排查mimbus後,檢視日誌發現原始storm叢集中的各個topology啟動恢復異常;
分析原因:執行中的叢集引數一旦更改,重新啟動叢集之後要重新相應的清除zookeeper中的storm叢集元資訊
zkCli.sh -server locahost:2181
#登陸之後zookeeper後,執行如下,清除在zookeeper中的storm元資訊
rmr /storm
,然後重新啟動storm叢集。開啟storm ui正常!!!
發散思維:
面對該問題時候的解決步驟:
- 1.定位問題:
檢視該問題在在日誌log中的顯示啟動資訊,任何錯誤的異常linux都會將其列印輸出到日誌中; - 2.分析問題
針對該問題,嘗試獨立解決(重新審視自身多出的修改導致的錯誤 - 3.借力前人
如果仍然難以解決,嘗試在所搜引擎中檢視前人有沒有類似的錯誤; - 4.升級思考
(1)橫向對別同類類似系統有沒有相似的問題,比如Flink和或者Kafka等,增加類比和知識延伸思考!
(2)歸根結底,之所以出現該問題,是因為對storm的原理架構需要加深理解
比如storm ui中的資訊採集、實時更新叢集狀態的資訊是從哪裡來的,zookeeper或者numbus?只要深究就會發現該類問題的統一解決方案!!