該文件為實實在在的原創文件，轉載請註明:

型別	詳細
備註	該文件是群裡幾個朋友在storm實戰中遇到的一些問題，及其對應解決辦法。
相關描述	²  部分文件涉及到原始碼，有需要的部落格留言，關注我的部落格。 ² 歡迎加入storm-分散式-IT技術交流群（191321336，群中有詳細的資料），一起討論技術，一起分享程式碼，一起分享設計。

目錄

文件說明

該文件包涵了storm實戰中經常遇到一些問題，及對應解決方案。這個文件是群裡一個朋友在學習storm，並實戰storm中遇到的一些問題，及和群裡其他朋友一起交流給出的對應解決方案，並由他整理好，委託我釋出出來（也算是交流者之一），供大家參考，希望能對大家有所幫助。

感謝 某某（哈哈 鑑於部分原因，不便透露名字~~~~！）…

問題錦集

1關於Storm叢集

1.1關於storm叢集的環境變數配置問題

安裝好JDK後，需要配置環境變數，通常情況下出於經驗，我們往往會修改/etc/profile的值進行環境變數配置，但這在安裝JDK以及後面安裝的storm叢集、zookeeper叢集以及metaq叢集時會出問題，這時候我們需要在/etc/.bashrc檔案中加入環境變數，不然安裝的java和ZK叢集等就無法使用，尤其這個問題在我用shell寫排程指令碼去啟動storm叢集的時候就遇到過，如果沒有將java的環境變數配置在/etc/.bashrc檔案中，就會報一個錯，這個問題在後面我會提到。

1.2關於zookeeper叢集安裝問題

記得剛剛接觸storm，在安裝zookeeper叢集的時候有這樣的考慮：為什麼不可以把zookeeper只安裝在nimbus上，然後讓其他的supervisor來它這裡讀取任務？如果在每臺機器上都安裝zookeeper，那nimbus分配任務的時候，是每臺機器上的zookeeper都收到同一份的任務，還是隻是將分配給每個supervisor節點的那部分寫到同一節點上的zookeeper中？

有朋友解答說：ZK也是以叢集的方式工作的，ZK叢集內部有他自己的一套相互通訊機制，而storm正是要藉助其通訊機制，例如任務下發等，往往在執行一個任務的時候，storm會把任務及相關執行的程式碼經過序列化之後傳送到各個ZK節點供supervisor去下載，然後才會各自執行自己部分的程式碼或者任務。說的直接一點就是每個ZK節點收到的任務是一樣的，而supervisor只需要下載屬於自己的任務即可。

1.3關於Storm中tuple 的可靠處理問題

Storm 為了保證tuple 的可靠處理，需要儲存tuple 資訊，這樣會不會導致記憶體洩漏？

關於這個問題，其實網上是有資料進行了詳細的解釋的。這裡只是大概將一下，如果還不明白，可以上網搜搜“storm可靠處理”。Storm為了保證tuple 的可靠處理，acker 會儲存該節點建立的tuple id的xor （異或）值，這個值稱為ackvalue，那麼每ack 一次，就將tuple id 和ack value做異或(xor)。當所有產生的tuple 都被ack的時候，ack value 必定為0。這是個很簡單的策略，對於每一個tuple 也只要佔用約20個位元組的記憶體。對於100萬tuple，也才20M 左右，所以一般情況下是不用考慮記憶體洩漏問題的。

1.4關於storm計算結果的存放問題

很多人在剛剛學習Storm 的時候都會有這個問題：storm處理後的結果儲存在哪裡？ 記憶體中？還是其他地方？

官方解釋說： Storm是不負責儲存計算結果的，這是應用程式裡需要負責的事情，如果資料不大，你可以簡單地儲存在記憶體裡，也可以每次都更新資料庫，也可以採用NoSQL儲存。storm並沒有像s4 那樣提供一個PersistAPI，根據時間或者容量來做儲存輸出。這部分事情完全交給使用者。資料儲存之後的展現，也是你需要自己處理的，storm UI只提供對topology 的監控和統計。

1.5關於Storm如何處理重複的tuple問題

有人問到Storm 是怎麼處理重複的tuple？

因為Storm 要保證tuple 的可靠處理，當tuple 處理失敗或者超時的時候，spout 會fail並重新發送該tuple，那麼就會有tuple 重複計算的問題。這個問題是很難解決的，storm也沒有提供機制幫助你解決。不過也有一些可行的策略：

（1）不處理，這也算是種策略。因為實時計算通常並不要求很高的精確度，後

續的批處理計算會更正實時計算的誤差。

（2）使用第三方集中儲存來過濾，比如利用MySQL、MemCached 或者Redis 根據邏輯主鍵來去重。

（3）使用bloom filter 做過濾，簡單高效。

1.6關於task與executor的關係問題

在storm的學習過程中，有許多人問到task與executor的關係問題。

在我們安裝配置storm的時候，不知大家是否主要到了一個問題，就是我們在配置的時候會加幾個worker的埠(supervisor.slots.ports:)，比如眾多文件中提到的6700/6701等等類似的東西。沒錯，這就是我們定義了該supervisor最多的worker數，worker中執行一個bolt或者spout執行緒，我們就稱之為task，而executor是物理上的執行緒概念，我們可以將其稱為執行執行緒；而task更多是邏輯概念上的，有時候bolt與spout的task會共用一個executor，特別是在系統負荷比較高的時候。

1.7關於Storm UI顯示內容的問題

Storm UI 裡spout 統計的complete latency 的具體含義是什麼？為什麼emit 的數目會是acked的兩倍？

簡單地說，complete latency 表示了tuple 從emit 到被acked 經過的時間，可以認為是tuple以及該tuple 的後續子孫（形成一棵樹）整個處理時間。其次spout 的emit 和transfered 還統計了spout和acker 之間內部的通訊資訊，比如對於可靠處理的spout 來說，會在emit 的時候同時傳送一個_ack_init給acker，記錄tuple id 到task id 的對映，以便ack 的時候能找到正確的acker task。

1.8關於Storm的ack和fail問題

在學習storm的過程中，有不少人對storm的Spout元件中的ack及fail相關的問題存在困惑，這裡做一個簡要的概述。

Storm保證每一個數據都得到有效處理，這是如何保證的呢？正是ack及fail機制確保資料都得到處理的保證，但是storm只是提供給我們一個介面，而具體的方法得由我們自己來實現。例如在spout下一個拓撲節點的bolt上，我們定義某種情況下為資料處理失敗，則呼叫fail，則我們可以在fail方法中進行資料重發，這樣就保證了資料都得到了處理。其實，通過讀storm的原始碼，裡面有講到，有些類（BaseBasicBolt？）是會自動呼叫ack和fail的，不需要我們程式設計師去ack和fail，但是其他Bolt就沒有這種功能了。

1.9關於IRichBolt與IBasicBolt介面的區別

首先從類的組成上進行分析可以看到，IBasicBolt介面只有execute方法和declareOutputFields方法，而IRichBolt介面上除了以上幾個方法還有prepare方法和cleanup及map方法。而且其中execute方法是有些不一樣的，其引數列表不同。

總體來說Rich方法比較完善，我們可以使用prepare方法進行該Bolt類的初始化工作，例如我們連結資料庫時，需要進行一次資料庫連線操作，我們就可以把該操作放入prepare中，只需要執行一次就可以了。而cleanup方法能在該類呼叫結束時進行收尾工作，往往在處理資料的時候用到，例如在寫hdfs（hadoop的檔案系統）資料的時候，在結束時需要進行資料clear，則需要進行資料收尾。當然，根據官網及實際的測驗，該方法往往是執行失敗的。

2關於Topology釋出

2.1釋出topologies 到遠端叢集時，出現Nimbus host is not set 異常

原因是Nimbus 沒有被正確啟動起來，可能是storm.yaml 檔案沒有配置，或者配置有問題。

解決方法：開啟storm.yaml 檔案正確配置：nimbus.host: "xxx.xxx.xxx.xxx"，重啟nimbus後臺程式即可。

2.2釋出topology到遠端叢集時，出現AlreadyAliveException(msg: xxx is alreadyactive)異常

原因是提供的topology 與已經在執行的topology 重名。

解決方法：釋出時換一個拓撲名稱即可。

2.3啟動Supervisor 時，出現java.lang.UnsatisfiedLinkError

具體資訊：啟動Supervisor 時，出現java.lang.UnsatisfiedLinkError:

/usr/local/lib/libjzmq.so.0.0.0: libzmq.so.1: cannot open sharedobject

file: No such file or directory 異常。

原因是未找到zmq 動態連結庫。

解決方法1：配置環境變數 export LD_LIBRARY_PATH=/usr/local/lib

解決方法2：編輯/etc/ld.so.conf 檔案，增加一行：/usr/local/lib。再執行

sudo ldconfig 命令，重啟Supervisor。

2.4釋出topologies 時，出現不能序列化log4j.Logger 的異常

原因是日誌系統無法正確支付序列化。

解決方法：使用slf4j 代替log4j。

2.5bolt 在處理訊息時，worker 的日誌中出現Failing message

原因：可能是因為Topology 的訊息處理超時所致。

解決方法：提交Topology 時設定適當的訊息超時時間，比預設訊息超時時間（30

秒）更長。比如：

conf.setMessageTimeoutSecs(60);

2.6在打包toplogy工程的時候, 如果採用assembly方式,對於相關的依賴的配置一般要這樣: 

Xml程式碼  

1. <dependencySets>  

2.         <dependencySet>  

3.             <outputDirectory>/</outputDirectory>  

4.             <unpack>true</unpack>  

5.             <excludes>  

6.                 <exclude>storm:storm</exclude>  

7.             </excludes>  

8.         </dependencySet>  

9.     </dependencySets>  

wiki上說可以用<scope>compile</scope>。然後將storm依賴設定為runtime,貌似不行。 另外就是所有的依賴包將全部解壓,然後將所有依賴的配置和class檔案生成一個檔案。這個是通過<unpack>true</unpack>引數來控制的。

2.7在提交topology的時候有時可能出現如下異常: 

Exception in thread "main"java.lang.IllegalArgumentException: Nimbus host is notset 
       atbacktype.storm.utils.NimbusClient.<init>(NimbusClient.java:30) 
       atbacktype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:17) 
       atbacktype.storm.StormSubmitter.submitJar(StormSubmitter.java:78) 
       atbacktype.storm.StormSubmitter.submitJar(StormSubmitter.java:71) 
       atbacktype.storm.StormSubmitter.submitTopology(StormSubmitter.java:50) 
       atcom.taobao.kaleidoscope.storm.IcdbTopology.main(IcdbTopology.java:59)

但是啟動nimbus是沒有問題的, 這個主要因為conf_dir路徑設定不正確,在bin/storm指令碼中需要加上這樣一句: 

Python程式碼  

1. CONF_DIR = STORM_DIR + "/conf"  

3關於DRPC

3.1釋出drpc 型別的topologies 到遠端叢集時，出現空指標異常，連線drpc伺服器失敗

原因是未正確配置drpc 伺服器地址。

解決方法：在conf/storm.yaml 檔案中增加drpc 伺服器配置，啟動配置檔案中

指定的所有drpc 服務。內容如下：

drpc.servers:

- "drpc 伺服器ip"

3.2客戶端呼叫drpc 服務時，worker 的日誌中出現Failing message，而bolt都未收到資料

錯誤日誌如下所示：

2011-12-02 09:59:16 task [INFO] Failing message

[email protected]: source:1:27,

stream: 1, id: {-5919451531315711689=-5919451531315711689},

[foo.com/blog/1, {"port":3772,"id":"5","host":"10.0.0.24"}]

原因是主機名，域名，hosts 檔案配置不正確會引起這類錯誤。

解決方法：檢查並修改storm 相關機器的主機名，域名，hosts 檔案。重啟網路服務：service networkrestart。重啟storm，再次呼叫drpc 服務，成功。Hosts 檔案中必須包含如下

內容：

[nimbus 主機ip] [nimbus 主機名] [nimbus 主機別名]

[supervisor 主機ip] [supervisor 主機名] [supervisor 主機別名]

[zookeeper 主機ip] [zookeeper 主機名] [zookeeper 主機別名]

4關於jzmq安裝

4.1storm 啟動時報no jzmq in java.library.path 錯誤

原因是找不到jzmq，預設情況下在執行install_zmq.sh 時，那些.so 檔案

安裝路徑在/usr/local/lib，但是實際安裝時可能裝在其他的路徑下了。

解決方法：在storm.yaml 中新增：

java.library.path:

"/opt/storm/jzmq/lib:/opt/storm/zeromq/lib:/usr/local/lib:/opt/local/

lib:/usr/lib"

4.2安裝jzmq 時遇到No rule to make target ‘classdist_noinst.stamp’的make錯誤

具體的make 錯誤資訊：

make[1]: *** No rule to make target`classdist_noinst.stamp',needed by `org/zeromq/ZMQ.class'.Stop.

解決方法：手動建立classdist_noinst.stamp 空檔案。

touch src/classdist_noinst.stamp

4.3安裝jzmq 時遇到cannot access org.zeromq.ZMQ 的make 錯誤

具體的make 錯誤資訊：

error: cannot access org.zeromq.ZMQ class file fororg.zeromq.ZMQ not found

javadoc: error - Class org.zeromq.ZMQ not found.

解決方法：手動編譯，然後重新make 即可通過。

cd src

javac -d . org/zeromq/*.java

cd ..

4.4 在部署storm節點的時候需要安裝jzmq和zeromq, 在安裝這兩個依賴包之後,需要執行sudo -u root ldconfig. 否則會出現異常: 

2012-02-24 16:30:30 worker [ERROR] Error oninitialization of server mk-worker 
java.lang.UnsatisfiedLinkError: /usr/local/lib/libjzmq.so.0.0.0:libzmq.so.1: cannot open shared object file: No such fileor 
directory 
       at java.lang.ClassLoader$NativeLibrary.load(NativeMethod) 
       atjava.lang.ClassLoader.loadLibrary0(ClassLoader.java:1803) 
       atjava.lang.ClassLoader.loadLibrary(ClassLoader.java:1728) 
       atjava.lang.Runtime.loadLibrary0(Runtime.java:823) 
       atjava.lang.System.loadLibrary(System.java:1028) 
       atorg.zeromq.ZMQ.<clinit>(ZMQ.java:34)

5關於Storm的配置問題

1.       yaml跟我們一般用的屬性配置檔案有所不同, 它的要求更嚴格一些,因此在往conf/storm.yaml中新增配置的時候必須注意，比如必須注意開始位置和冒號後面的空格, 否則配置不會生效。

2.       如何檢查配置是否生效？

可以使用命令: storm localconfvalue 配置關鍵字

 但是這個命令只能在nimbus上生效, 在supervisor看到的還是預設值.不知道為什麼 。

6關閉storm相關程序

6.1關閉nimbus相關程序: 

kill `ps aux | egrep '(daemon\.nimbus)|(storm\.ui\.core)' |fgrep -v egrep | awk '{print $2}'` 

備註：這是在網上看到的，沒有經過實際測試，有興趣的朋友可以自己測試一下。

6.2幹掉supervisor上的所有storm程序: 

kill `ps aux | fgrep storm | fgrep -v 'fgrep' | awk '{print$2}'` 

備註：這是在網上看到的，沒有經過實際測試，有興趣的朋友可以自己測試一下。

7關於Topology釋出之後的log

1)       用storm jar...將專案提交給storm集群后，想檢視本專案的log資訊，要到supervisor機器的：storm安裝路徑/logs/worker-number.log（其中的number視實際情況而定）中檢視。

2)       如果是用daemontools啟動的storm，daemontools監控的目錄是/service/storm，那麼到/service/storm/logs中檢視worker-number.log日誌。

3)       若要更改log的級別，是debug還是info等，在storm安裝路徑/log4j下有個配置檔案，按需要修改即可。

4)       Storm的debug模式下，它本身的log非常龐大，所以我覺得自己的程式碼中有些重要的資訊，用info比較好，這樣將storm的log級別調整為info比較方便檢視。

8關於maven打包問題

8.1首先maven的pom檔案中的storm依賴，要麼加excludestorm的相關語句（github有說明），要麼加<scope>，如下：

                  <dependency>

                           <groupId>storm</groupId>

                           <artifactId>storm</artifactId>

                           <scope>test</scope>

                  </dependency>

加scope可以使打jar包時，不包含storm。如果包含了storm，那麼提交到storm叢集，會執行出錯。官方要求打jar包時，要去除storm的依賴。

8.2使用maven外掛，在打jar包時，包含依賴。

在pom中加入：

<plugin>

      <artifactId>maven-assembly-plugin</artifactId>

      <configuration>

             <descriptorRefs>

                    <descriptorRef>jar-with-dependencies</descriptorRef>

             </descriptorRefs>

             <archive>

                    <manifest>

                           <mainClass>com.path.to.main.Class</mainClass>

                    </manifest>

             </archive>

      </configuration>

</plugin>

打jar包時使用命令：mvn assembly:assembly

8.3依賴的jar衝突問題

如果本地依賴的jar與storm的lib下的jar有衝突，即都用了一個jar，但是版本不同，那麼貌似目前只能改為跟storm保持統一。官方的討論組是這樣說的。

9關於nimbus的啟動問題

在使用了storm一段時間後，需要重新部署storm的叢集，主要是想將storm部署在其它機器上。做了以下錯誤操作：

        1) 沒有kill 正在執行的topology，kill nimbus和supervisor的storm程序

        2) 刪除了配置中"storm.local.dir"的資料夾內的內容

        3) 啟動storm nimbus

報錯：
backtype.storm.daemon.nimbus 
[email protected] 
java.io.FileNotFoundException: File'/opt/apps-install/storm/ 
storm_local/nimbus/stormdist/appFailed-6-1325065153/stormconf.ser' 
does not exist 
       at 
org.apache.commons.io.FileUtils.openInputStream(FileUtils.java:137) 
       at 
org.apache.commons.io.FileUtils.readFileToByteArray(FileUtils.java: 
1135) 
       atbacktype.storm.daemon.nimbus 
$read_storm_conf.invoke(nimbus.clj:128) 
       atbacktype.storm.daemon.nimbus 
$compute_new_task__GT_node_PLUS_port.invoke(nimbus.clj:244) 
       atbacktype.storm.daemon.nimbus 
$mk_assignments.invoke(nimbus.clj:288) 
       atbacktype.storm.daemon.nimbus 
$fn__2692$exec_fn__945__auto____2693$this__2731.invoke(nimbus.clj:460) 
       atbacktype.storm.event$event_manager 
$fn__2068$fn__2069.invoke(event.clj:25) 
       atbacktype.storm.event$event_manager 
$fn__2068.invoke(event.clj:22) 
       atclojure.lang.AFn.run(AFn.java:24) 
       atjava.lang.Thread.run(Thread.java:662) 
2011-12-29 16:15:02 util [INFO] Halting process: ("Errorwhen 
processing an event") 
報錯原因：因為沒有先killtopology，所以在啟動nimbus時，zookeeper中依然保留了上次執行著的topology的資訊。

解決辦法：用zookeeper的zkCli.sh清理一下，我直接重灌了zookeeper。但是據說在storm0.6.1中解決了該bug。而我用的是storm 0.6.0。

在配置檔案storm.yaml中，有：

# to nimbus 
nimbus.childopts: "-Xmx1024m" 

# to supervisor 
supervisor.childopts: "-Xmx1024m" 

# to worker 
worker.childopts: "-Xmx768m" 
如果worker在執行時，需要用指定的JVM引數，那麼可以像這樣配置：
worker.childopts: "-Dworker=worker -Xmx768m -Xdebug –Xnoagent-Djava.compiler=NONE-Xrunjdwp:transport=dt_socket,address=8111,suspend=y,server=y" 

11關於spout/bolt的生命週期

一般來說spout/bolt的生命週期如下:

1      在提交了一個topology之後(在nimbus所在的機器),建立spout/bolt例項(spout/bolt在storm中統稱為component)並進行序列化；

2      將序列化的component傳送給所有的任務所在的機器；

3      在每一個任務上反序列化component；

4      在開始執行任務之前, 先執行component的初始化方法(bolt是prepare, spout是open)；

因此component的初始化操作應該在prepare/open方法中進行,而不是在例項化component的時候進行。

 首先宣告一下，這個問題是當時有考慮到是否可以將storm與spring整合時，在網上看到的一點介紹，只是為了日後做參考。

在進行storm與spring整合時，本來想著一次就能成功，抱著很大的希望可是執行時竟然報了個java.io.NotSerializableException的異常。該異常要求被依賴注入的jar包實現序列化介面，但那些jar包都是別人開發的你不能一個一個都改掉原始碼才能用到專案裡。

再網上找一下還真有人遇到類似的問題，具體原因是對storm的spout和bolt的生命週期理解的不夠深刻。

一般來說spout/bolt的生命週期如下:

1.在提交了一個topology之後(在nimbus所在的機器),建立spout/bolt例項(spout/bolt在storm中統稱為component)並進行序列化.

2.將序列化的component傳送給所有的任務所在的機器

3.在每一個任務上反序列化component.

4.在開始執行任務之前, 先執行component的初始化方法(bolt是prepare, spout是open).

因此component的初始化操作應該在prepare/open方法中進行,而不是在例項化component的時候進行.

按照這種說法進行改造，結構該問題消失了。但接下來又有了新的問題：

Caused by: org.xml.sax.SAXParseException: Content is not allowedin prolog.

這個異常網上搜索之後發現原來是由於*.xml檔案編碼的問題。原因是在從其他專案裡或者編輯工具編輯時，在檔案編碼中加入了BOM頭的原因，於是用notePad++開啟xml檔案選擇去掉BOM頭資訊，重新進行儲存即可。

13關於java.lang.NoClassDefFoundError: clojure.core.protocols$

原因：JDK版本不匹配，安裝虛擬機器時系統自帶一個jdk.1.5.0。

解決辦法：檢查jdk版本，解除安裝系統自帶的JDK，使用自己安裝的JDK版本。

        ＃　rpm –qa | grep java

        #  rpm –e –nodeps java-*

配置環境變數，vi /etc/profile

重新執行一遍試試，貌似問題解決了。

14關於storm連線Mysql

連線遠端mysql是報如下錯誤：

message from server:"Host FILTER" is not allowed to connect tothis MySQL server

解決方案：

很可能是你沒有給其他IP訪問你資料庫的許可權，你可以試試：

在MySql資料庫的主機上，在mysql命令列中輸入以下命令：

grant all on *.* to [email protected]'%' identified by "111111" ;

這樣，給任何IP都賦予了訪問的許可權，

任何IP都能以，使用者名稱：root ，密碼：111111

來進行區域網的訪問！

(命令中*.*是通配任何IP，你也可以指定IP)

15關於metaq啟動的出現服務拒絕連線的問題

解決辦法：在metaq安裝目錄下，刪掉之前的日誌檔案，測試網路是否正常連線。將之前的服務的metaq程序kill掉，然後重啟。

16 關於topology的spout與bolt

之前有問到，一個topology中可不可以有多個spout？這個問題貌似很幼稚啊，呵呵。關於這個問題，我是這樣考慮的：實際應用中，如果我們每一條應用都建立一個topology的話，未免也太誇張了。如果是同一個應用，同一個資料來源，但是你想分幾種方式對這個資料做處理的話，這時候就應該是建多個spout了，讓這些spout並行去讀資料，然後交給訂閱這個spout的bolt去處理就行，沒必要一種處理方式建一個topology。

17關於shell指令碼編碼格式問題

這是我在寫啟動storm叢集的shell指令碼時遇到的一個實際問題。shell指令碼執行時報錯誤：/bin/bash^M: badinterpreter

出現原因：windows上寫的指令碼，直接拷貝到linux系統上執行由於格式不相容導致。

17.1解決方案（一）：

1. 比如檔名為myshell.sh，vim myshell.sh

2. 執行vim中的命令 : set ff?檢視檔案格式，如果顯示fileformat=dos，證明檔案格式有問題。

3. 執行vim中的命令 :set fileformat=unix將檔案格式改過來就可以了，然後:wq儲存退出就可以了。

17.2解決方案（二）

或者使用最笨的方法：將windows下編輯好的指令碼通過txt文字格式轉換，然後在拷貝到linux下。

如果是使用Notepad編輯器進行編輯的話，可以在選單欄上選擇“編輯”—“檔案格式轉換”—“轉換為 UNIX 格式”。

最後說明一下，這些問題只是storm應用過程中遇到的一小部分問題，其實還有很多問題是涉及到實際專案的考慮的，比如叢集硬體要求，引數配置，日誌處理等等，具體問題具體分析吧，也希望哪些在實際專案中用到storm的大神們，能多多和大家分享你們的實際經驗，畢竟實踐出真知，任何新技術，只有經過實際應用和實際檢驗，分享出來的東西才有說服力。