storm視訊教程_Storm實現“天貓雙十一”大屏實時展示專案
基於Storm+KafKa+HBase+Java Web+HighChart技術實現的“天貓雙十一”大屏實時展示專案
分享下載地址:https://pan.baidu.com/s/1BX7jG1llz4zdT5fqdi4sHQ
提取碼:c2nl
Storm是什麼? 為什麼學習Storm? Storm是Twitter開源的分散式實時大資料處理框架,被業界稱為實時版Hadoop。 隨著越來越多的場景對Hadoop的MapReduce高延遲無法容忍,比如網站統計、推薦系統、預警系統、金融系統(高頻交易、股票)等等, 大資料實時處理解決方案(流計算)的應用日趨廣泛,目前已是分散式技術領域最新爆發點,而Storm更是流計算技術中的佼佼者和主流。 按照storm作者的說法,Storm對於實時計算的意義類似於Hadoop對於批處理的意義。
Hadoop提供了map、reduce原語,使我們的批處理程式變得簡單和高效。 同樣,Storm也為實時計算提供了一些簡單高效的原語,而且Storm的Trident是基於Storm原語更高階的抽象框架,類似於基於Hadoop的Pig框架, 讓開發更加便利和高效。
本課程會深入、全面的講解Storm,並穿插企業場景實戰講述Storm的運用。 淘寶雙11的大螢幕實時監控效果衝擊了整個IT界,業界為之驚歎的同時更是引起對該技術的探索。 學完本課程你可以自己開發升級版的“淘寶雙11”,還等什麼?
課程大綱:
1、【第一章】課程介紹,Storm簡介及背景和現狀,和JStorm對比
2、Storm架構原理詳解
3、虛擬機器安裝和設定注意事項
4、Zookeeper叢集部署和測試
5、Storm叢集搭建及測試
6、Eclipse下介紹storm-starter例子,講解常用API類
7、API簡介和入門案例開發
8、API體系一欄,Spout和Bolt系列類介紹
9、幾種Grouping策略詳解
10、FatJar外掛安裝、打包釋出,詳解Storm UI介面使用
11、通過UI介面檢測作業狀況,詳解UI檢視技巧,介面查日誌logviewer
12、Wroker、Executer、Task概念及關係詳解,動態調整併發度
13、【實戰案例】計算當天銷售額
14、【案例升級】計算當天銷售額和購買人數
15、時間視窗的概念及相關API介紹
16、滾動視窗 Tumbling Window的實戰案例
17、滑動視窗 Sliding Window的實戰案例
18、Storm容錯機制Acker詳解
19、【案例】Acker失敗重發編碼實現
20、Storm叢集Start-all.sh和Stop-all.sh命令開發一
21、Storm叢集Start-all.sh和Stop-all.sh命令開發二
22、【第二章】Kafka架構原理、概念詳解
23、Kafka叢集搭建
24、Kafka Java API 簡單開發測試
25、storm-kafka 詳解和實戰案例,工程轉到IntelliJIDEA上
26、storm-kafka案例詳解續,IDEA使用技巧
27、【專案1-地區銷售額】需求分析和架構設計
28、【專案1-地區銷售額】Topo開發1
29、【專案1】HBase讀寫開發
30、【專案1】Topo開發2,加入寫HBase和啟動初始化動作
31、【專案1】Highchats圖表的開發思路,專案中加入Web模組
32、【專案1】Servlet程式碼實現和講解,專案執行
33、【第三章】Storm高階運用Trident入門,DRPC概念
34、Trident基礎二
35、Trident的FirstN、投影操作、鏈操作、重分割槽
36、【專案2-省份銷售TopN】需求分析,Topo開發一
37、【專案2-省份銷售TopN】Topo開發二
38、【專案2】打包釋出Topo,配置和啟動DRPC Server,開發DRPC客戶端進行驗證
39、【專案2】Web端開發和專案執行
40、【專案3】需求分析,Topo開發
41、Topo開發二
42、Topo開發三,增加啟動Topo進行初始化資料的機制
43、Web端開發一
44、Web端開發二,專案執行