Storm作為一個開源的分散式實時流計算框架，其內部實現使用了一些常用的技術，這裡是對這些技術及其在Storm中作用的概括介紹。以此為基礎，後續再深入瞭解Storm的內部實現細節。

1. Zookeeper叢集

Zookeeper是一個針對大型分散式系統的可靠協調服務系統，其採用類似Unix檔案系統樹形層次結構的資料模型（如：/zoo/a，/zoo/b），節點內可儲存少量資料（<1M，當節點儲存大資料量時，實際應用中可能出現同步問題）。

Zookeepr的高可靠性服務是通過配置Zookeeper叢集實現的，官方建議Zookeeper叢集至少包含3個節點，每個節點上儲存一份資料，主節點掛掉後可以重新選取一個節點作為主節點。只要保證叢集內有一半以上的節點存活，叢集就可對外提供服務。

Zookeeper支援的操作型別有：

（1）建立樹節點znode；

（2）刪除樹節點znode；

（3）讀取樹節點znode的內容和其子節點的內容；

（4）當節點內容發生變化或子節點增刪時觸發訊息通知更新訊息；

（5）支援瞬時節點（EPHEMERAL），建立節點的程序退出後節點自動被刪除。

Storm中使用Zookeeper主要用於Storm叢集各節點的分散式協調工作，具體功能如下：

（1）儲存客戶端提供的topology任務資訊，nimbus負責將任務分配資訊寫入Zookeeper，supervisor從Zookeeper上讀取任務分配資訊；

（2）儲存supervisor和worker的心跳（包括它們的狀態），使得nimbus可以監控整個叢集的狀態， 從而重啟一些掛掉的worker；

（3）儲存整個叢集的所有狀態資訊和配置資訊。

關於Storm在Zookeeper的詳細目錄結構，可參考這裡。

2. Thrift服務框架

Thrift是一個跨語言的可擴充套件的服務框架，它通過一箇中間語言(IDL，介面定義語言)來定義RPC的介面和資料型別，然後通過一個編譯器生成RPC客戶端和伺服器通訊的無縫跨程式語言。 Storm中Thrift的應用場景： （1）客戶端向nimbus提交topology任務； （2）supervisor從nimbus下載topology任務（程式碼和序列化檔案）； （3）storm ui從nimbus獲取topology執行的統計資訊。

3. ZeroMQ訊息佇列

ZeroMQ是一個基於訊息的嵌入式網路程式設計庫，可作為併發框架連線多個應用程式，支援N-to-N的連線，多種工作模式（Request-reply，Publish-subscribe，Pipeline等），支援多種語言，ZeroMQ使得編寫高效能網路應用程式極為簡單。 Storm中ZeroMQ的應用場景：Spout與Bolt、Bolt與Bolt之間tuple訊息的傳輸。

4. Java序列化

Java序列化技術可以實現將Java物件儲存為二進位制檔案，而反序列化過程則可以在另一個Java程序中將此二進位制檔案恢復為Java物件，其缺點在於不能很好的解決版本變化。 Storm中Java序列化的應用場景： （1）客戶端提交topology任務後，Storm將topology任務序列化併發送給nimbus； （2）supervisor從Zookeeper取得任務資訊後，從nimbus下載序列化檔案和jar包，啟動worker程序並反序列化得到提交任務時的topology物件。

5. 總結

以上只是對Storm中所使用到的Zookeeper叢集、Thrift服務框架、ZeroMQ訊息佇列、Java序列化技術及其在Storm中的應用情況的簡單介紹，後續再進一步結合Storm的原始碼進行深入分析。以上內容，如果不對之處，歡迎大家指正。