1. 程式人生 > >微軟開源資料處理引擎 Trill,每天可分析萬億次事件

微軟開源資料處理引擎 Trill,每天可分析萬億次事件

  

微軟近日開源了資料處理引擎 Trill,它每天能夠分析萬億次事件。

專案地址:https://github.com/Microsoft/trill

當下每毫秒處理大量資料正成為一種常見的業務需求,此次微軟開源的 Trill,據說每秒能夠處理高達數十億事件,它結合了多模式分析支援和一系列其它功能,微軟聲稱其它任何系統都無法完全與之匹敵。它有如下特點:

  • 作為單節點引擎庫,任何 .NET 應用程式、服務或平臺都可以輕鬆使用並處理查詢。

  • 提供一種時態查詢語言,允許使用者進行實時和離線資料集複雜查詢。

  • 高效能,滿足高速度與低延遲。過濾器以每秒數十億事件的記憶體頻寬速度執行,而分組聚合每秒執行 10 到 1 億個事件。

該引擎用途廣泛,足以處理實時資料和歷史資料,目前只有少數幾款開源工具擁有同樣的能力。

Trill 於 2012 年開始作為 Microsoft Research 的一個研究專案,在 VLDB 和 IEEE Data Engineering Bulletin 等研究論文中進行了廣泛的描述。Trill 最早來源於微軟以前的服務 StreamInsight,這是一個功能強大的平臺,允許開發人員開發和部署複雜的事件處理應用程式。兩個系統都基於擴充套件查詢和資料模型,該模型使用時間元件擴充套件關係模型。

對於使用者來說,使用 Trill 與使用任何 .NET 庫是一樣的,因此不需要脫離 .NET 環境。使用者可以將 Trill 嵌入到各種分散式處理基礎架構中,例如 Orleans 和微軟的 SCOPE 資料處理基礎架構的流式版本。

Trill 支援內部應用程式和外部服務,覆蓋數千名開發人員,目前已經提供了許多功能強大的流媒體服務,使用場景包括:

  • Financial Fabric

  • Bing Ads

  • Azure Stream Analytics

  • Halo

更詳細的分析檢視 Microsoft Azure 首席軟體工程師的這篇文章:

https://azure.microsoft.com/en-us/blog/microsoft-open-sources-trill-to-deliver-insights-on-a-trillion-events-a-day