墨天輪國產資料庫沙龍 | 胡津銘：時序資料庫DolphinDB，從量化金融到萬物互聯
分享嘉賓：胡津銘 DolphinDB研發副總監
整理：墨天輪社群
導讀
DolphinDB是高效能分散式時序資料庫，集成了功能強大的程式語言和高容量高速度的流資料分析系統，為海量結構化資料的快速儲存、檢索、分析及計算提供一站式解決方案。
時序資料庫的主要應用場景
我今天分享的主題是“時序資料庫：從量化金融到萬物互聯”，因為在我看來這是時序資料庫最主要的兩個應用場景：量化金融與物聯網。
圖1 時序資料庫的主要應用場景
1、在量化金融中的應用
在這裡舉一個典型的金融資料示例，如下圖所示stock ID即股票ID，bid price是現在股票的買入價格，Ask price是股票的即時賣價，然後time是這條資料產生的時間。
圖2 金融資料示例
第一個場景是實時查詢，能夠查詢所有的股票在這一時間段內的資料，其中關鍵點在於能檢視到某一特定的股票，與特定的時間範圍內的資料，即對單個時間序列做到實時查詢。
第二個場景是資料分析，如圖上所示，可以計算股票程式碼為Apple的這隻股票在2月23號這一天的這個moving average的資料，即對單個時間序列做資料分析。
那第三個場景是策略回測，比如在評估量化金融已開發出來的策略，應用在歷史資料上能夠獲得多少利潤後，決定是否上線策略。最後便是實時計算的場景，根據市場上的資訊，對比現在的股票與其相關聯的股票價格分別是多少，基於這些資訊，決定是否要買賣。
2、在物聯網中的應用
下圖為物聯網的資料示例，deviceID為裝置ID，感測器同時測溫度、壓強壓力兩個指標，並有對應的時間戳。
圖3 物聯網資料示例
在物聯網中的時序資料庫的第一個應用場景是裝置監控，它能夠查詢一個裝置在某一個時間段（點）上的資料情況。第二個應用場景是歷史統計，能夠查詢某一個（類）裝置在過去一年內的平均值、最大最小值。
第三個應用場景是反向控制，根據物聯網產生的資料及時給出決策，並反過來控制感測器實行什麼樣的操作，或者控制其他的裝置去實行什麼樣的操作。
- 簡單的控制邏輯：若某裝置監控到的溫度持續高於閾值，則自動採取對應的措施
- 複雜的控制邏輯：若根據某些複雜的演算法（如機器學習）計算得出某片區域的現狀不合常理，則自動採取對應的措施
DolphinDB的產品特性
1、DolphinDB支援事務
不支援事務的資料庫會出現什麼樣的後果？
圖4 不支援事務的時序資料庫示例
如圖所示，以股票交易為例，Google與Apple的股票資料已經成功儲存在了Node1中，但是由於網路延遲，Oracle的實時股票資料無法儲存在Node2 中。當資料庫不支援事務時，便會無法查詢到google的最新股票價格，對應地便會基於不準確的資料做出錯誤決策，導致嚴重的後果。
因此，在時序資料庫中必須要有事務的支援以滿足量化金融與物聯網行業的應用需求。
2、強大的分析能力
時序資料庫在存下資料之後，最終的目的是挖掘出資料中的價值，這就需要資料庫提供強大的分析能力。
DolphinDB提供了一門程式語言，可以方便地進行自定義計算；還提供了1000多個內建的分析函式供使用。
3、高效的儲存引擎
DolphinDB的高效儲存引擎體現在
- 基於LSMT，提供高效的點查詢能力
- 千萬級裝置，10ms以內
- 高效的歷史資料分析能力
- PB級資料，秒級計算響應
- 自動去重
圖5 DolphinDB 高效的儲存引擎
4、流資料處理架構
DolphinDB內建的流資料框架支援流資料的釋出、訂閱、預處理、實時記憶體計算、複雜指標的滾動視窗計算等，是一個執行高效，使用便捷的流資料處理框架。
其中流資料模組採用釋出-訂閱-消費的模式。流資料首先注入流資料表中，通過流資料表來發布資料，資料節點或者第三方的應用可以通過DolphinDB指令碼或API來訂閱及消費流資料。
圖6 DolphinDB 流資料處理架構
5、批流一體
批流一體是指用一摸一樣的程式碼實現批計算和流計算的邏輯，即可以實現批計算的歷史分析，也能夠進行實時計算，幫助降低運維成本。
圖7 DolphinDB 實現批流一體
6、內建流計算引擎
DolphinDB內建流計算引擎包含時間序列聚合引擎、響應式狀態引擎、橫截面引擎、會話視窗引擎、異常檢測引擎，幫助降低開發成本。
圖8 DolphinDB 內建流計算引擎
關於DolphinDB
1、DB-Engines 中的 DolphinDB
DolphinDB為企業IT人員、業務人員與決策者提供資料管理與分析應用一站式解決方案實現內部協作與融合，貫通企業資料應用鏈條，充分利用資料價值。
在世界資料庫流行度排行榜DB-Engines中可以看到，DolphinDB位於時序資料庫榜單第十，也是國內唯一一家入圍前十的時序資料庫產品，並且流行度也在不斷攀升。
圖9 DolphinDB 在DB-Engines 中的流行度
2、DolphinDB 代表客戶
DolphinDB為金融、工業物聯網、電力、能源、交通等各行業客戶提供優質服務。
圖10 DolphinDB 代表客戶
如果您也是金融領域、或者物聯網領域並對時序資料感興趣，歡迎您來嘗試DolphinDB，我們
為海量資料（特別是時間序列資料）的快速儲存、檢索、計算及分析提供一站式解決方案。
以上就是我今天的分享內容，謝謝大家！
更多精彩內容，歡迎大家觀看現場視訊回放與會議資料
- 檢視原文：https://www.modb.pro/db/336226
- 檢視【國產資料庫沙龍】往期生態工具、圖資料庫專場文章、視訊回放資源：https://www.modb.pro/topic/157860
墨天輪，圍繞資料人的學習成長提供一站式的全面服務，打造集新聞資訊、線上問答、活動直播、線上課程、文件閱覽、資源下載、知識分享及線上運維為一體的統一平臺，持續促進資料領域的知識傳播和技術創新。
關注官方公眾號： 墨天輪、 墨天輪平臺、墨天輪成長營、資料庫國產化 、資料庫資訊