Storm是一個開源的分散式實時計算系統，可以簡單、可靠的處理大量的資料流。Storm的部署和運維都很便捷，而且更為重要的是可以使用任意程式語言來開發應用。

storm：實時計算系統

            低延遲，高效能，分散式，可擴充套件，容錯

特點：簡單程式設計模型，熱部署，各種程式語言，可擴充套件，容錯，可靠訊息處理，快速，本地模式

storm基本概念：

        Nimbus:負責資源分配和任務排程

        Supervisor：負責接受nimbus分配的任務，啟動和停止屬於自己管理的worker程序

        Worker：執行具體處理元件邏輯的程序

        Task：worker中每一個spout/bolt的執行緒稱為一個task，在storm0.8後，task不在與物理執行緒對應，同一個spout/bolt的task可能會共享一個物理執行緒，該執行緒稱為executor

        Topology：storm中執行的一個實時的應用程式，因為各個元件間的訊息流動形成邏輯上的一個拓撲結構

        Spout：在一個topology中產生源資料的元件。通常情況下spout會從外部資料來源中讀取資料，然後轉換為topology的內部的源資料。spout是一個主動的角色，其介面中有一個nextTuple()的函式。storm框架會不停的呼叫此函式，使用者只要在其中生成源資料即可。

        Bolt：在一個topology中接受資料然後執行處理的元件。Bolt可以執行過濾、函式操作、合併、寫資料庫等任何操作。Bolt是一個被動的角色，其介面中有個execute（Tupleinput）函式，在接受到訊息後會呼叫此函式，使用者可以在其中執行自己想要的操作。

        Tuple:一次訊息傳遞的基本單元。本來應該是一個key-value的map,但是由於各個元件間的傳遞的tuple的欄位名稱已經事先定義好，所以Tuple中只要按序填入各個value就行了，是一個valueList。

        Stream:源源不斷傳遞的Tuple就組成了stream.

Strom使用場景：

1.流聚合：把兩個或者多個數據流聚合成一個數據流-基於一些共同的tuple欄位。

2.批處理：為了效能或者一些別的原因，把一組tuple一起處理，而不是一個一個的單獨處理。

3.BasicBolt

a.讀一個輸入的tuple

b.根據一個輸入tuple發射一個或多個tuple

c.在execute的方法的最後ack那個輸入tuple遵循這類模式的bolt一般是函式或者是過濾器，這種模式太常見，storm為這類模式單獨封裝了一個介面：IbasicBolt

d.記憶體內快取+Fields grouping組合

e.據算topN

f.用TimeCacheMap來高效的儲存一個最近被更新物件的快取

g.分散式RPC

storm分組機制

1.隨機分組(Shuffle grouping)

2.欄位分組(Fields grouping)

3.全部分組(All grouping)

4.全域性分組(Global grouping)

5.無分組(None grouping)

6.直接分組(Direct grouping)

7.實現CustomStreamGrouping介面來定義自己的分組