1. 程式人生 > >Storm官網上的各公司的使用介紹

Storm官網上的各公司的使用介紹

其實這些介紹就是第三方使用者寫的,比如我是一個使用者,在公司大規模運用Storm後,把使用情況郵件到官方,官方覺得OK了,就搬運過來。

原創翻譯,如有錯誤請指出,謝謝。

原文連結

下面選擇一些國內的公司的情況進行介紹(原創翻譯,持續更新ing..)

淘寶網

我們使用Storm來做一些實時的日誌統計,從日誌中抽取有用的資訊。

日誌是存在一個類似Kafka的持久化訊息佇列中(MetaQ,是一個淘寶在Kafka基礎上研發的訊息佇列系統),然後讀到拓撲中的spout中。

接著在拓撲進行處理和分發最後得到想要的計算結果。

最終儲存到分散式資料庫中,等待其他的使用者來使用。

每天的日誌量在200w到15億之間,最大達到2T。

這裡最大的挑戰不僅僅是對大資料集進行實時處理,持久化計算結果也是一大挑戰,需要嚴謹的設計和實現。

阿里巴巴

阿里巴巴在世界上是B2B電商的領頭羊。我們使用Storm來處理應用程式日誌和資料庫中的資料改變來為資料應用提供實時的統計。

百度

百度提供最牛的網站,音訊檔案,影象的搜尋服務。

我的公司使用Storm來處理搜尋日誌,提供了使用者的pv,ar-time等的實時統計。

另外還幫助了運維部門進行決策並對服務的狀態進行監控。未來還會用Storm做更牛的事情。

支付寶

支付寶是天朝最牛的第三方線上支付平臺。我們在許多場景下都選擇使用Storm:

  1. 實時計算交易的數量,交易成交額,TOP N的交易賣家的資訊,註冊使用者數量。每天處理的訊息超過了1億。
  2. 日誌的處理,每天的資料量超過6T。

友盟

友盟在中國是移動應用分析和開發者服務平臺的業界驕楚。Storm為友盟的實時分析平臺提供支援,每天處理數10億的資料點,並不斷增長。

我們還其他許多需要實時處理的產品中使用Storm,Storm在我們公司逐漸成為了核心的基礎設施。

奇虎360

我們使用Storm的案例比較特殊,我們在數千個節點上部署了Storm,這些節點並不是專屬於Storm的,它們還跑了一些各種各樣的業務。

Storm在每個節點上只使用一點點CPU/記憶體/頻寬。然後Storm叢集會對這些節點的空閒資源進行排程,這個排程的消耗趨向於零。

這提供了強勁的計算能力,並且是實時的。這太不可思議了。

to be continued..