阿里雲DataHub使用教程
阿新 • • 發佈:2018-12-17
DataHub服務是阿里雲提供的流式資料(Streaming Data)服務,它提供流式資料的釋出 (Publish)和訂閱 (Subscribe)的功能,讓您可以輕鬆構建基於流式資料的分析和應用。
DataHub服務可以對各種移動裝置,應用軟體,網站服務,感測器等產生的大量流式資料進行持續不斷的採集,儲存和處理。使用者可以編寫應用程式或者使用流計算引擎來處理寫入到DataHub的流式資料比如實時web訪問日誌、應用日誌、各種事件等,併產出各種實時的資料處理結果比如實時圖表、報警資訊、實時統計等
優勢點及簡介:
高吞吐:最高支援單主題(Topic)每日T級別的資料量寫入,每個分片(Shard)支援最高每日百GB級別的寫入量。
實時性:通過DataHub服務,您可以實時的收集各種方式生成的資料並進行實時的處理,對您的業務產生快速的響應。
易用性:DataHub服務提供豐富的SDK包,包括C++, JAVA, Pyhon, 等語言。DataHub服務也提供Restful API規範,您可以用自己的方式實現訪問介面。
高可用:服務可用性不低於99.999%。規模自動擴充套件,不影響對外服務;資料永續性不低於99.99999999%。資料自動多重冗餘備份
動態伸縮:每個主題(Topic)的資料流吞吐能力可以動態擴充套件和減少,最高可達到每主題256MB/s的吞吐量。
高安全性:提供企業級多層次安全防護,多使用者資源隔離機制;提供多種鑑權和授權機制及白名單、主子賬號功能。
課時列表:
課時1:初識DataHub
課時2:通過Connector同步到Odps
課時3:同步資料到OSS
課時4:使用Logstash匯入流式資料
課時5:Odps同步任務異常處理
更多精品課程點選:阿里雲大學