Druid是一個用於大資料實時查詢和分析的高容錯、高效能開源分散式系統，旨在快速處理大規模的資料，並能夠實現快速查詢和分析。尤其是當發生程式碼部署、機器故障以及其他產品系統遇到宕機等情況時，Druid仍能夠保持100%正常執行。建立Druid的最初意圖主要是為了解決查詢延遲問題，當時試圖使用Hadoop來實現互動式查詢分析，但是很難滿足實時分析的需要。而Druid提供了以互動方式訪問資料的能力，並權衡了查詢的靈活性和效能而採取了特殊的儲存格式。

Druid功能介於PowerDrill和Dremel之間，它幾乎實現了Dremel的所有功能，並且從PowerDrill吸收一些有趣的資料格式。Druid允許以類似Dremel和PowerDrill的方式進行單表查詢，同時還增加了一些新特性，如為區域性巢狀資料結構提供列式儲存格式、為快速過濾做索引、實時攝取和查詢、高容錯的分散式體系架構等。從官方得知，Druid的具有以下主要特徵：

• 為分析而設計——Druid是為OLAP工作流的探索性分析而構建，它支援各種過濾、聚合和查詢等類；
• 快速的互動式查詢——Druid的低延遲資料攝取架構允許事件在它們建立後毫秒內可被查詢到；
• 高可用性——Druid的資料在系統更新時依然可用，規模的擴大和縮小都不會造成資料丟失；
• 可擴充套件——Druid已實現每天能夠處理數十億事件和TB級資料。

Druid應用最多的是類似於廣告分析創業公司Metamarkets中的應用場景，如廣告分析、網際網路廣告系統監控以及網路監控等。當業務中出現以下情況時，Druid是一個很好的技術方案選擇：

• 需要互動式聚合和快速探究大量資料時；
• 需要實時查詢分析時；
• 具有大量資料時，如每天數億事件的新增、每天數10T資料的增加；
• 對資料尤其是大資料進行實時分析時；
• 需要一個高可用、高容錯、高效能資料庫時。

Realtime節：實時攝取資料、監聽輸入資料流

Broker節點：接收來自外部客戶端的查詢和將查詢轉發到Realtime和Historical節點

一個Druid叢集有各種型別的節點（Node）組成，每個節點都可以很好的處理一些的事情，這些節點包括對非實時資料進行處理儲存和查詢的Historical節點、實時攝取資料、監聽輸入資料流的Realtime節、監控Historical節點的Coordinator節點、接收來自外部客戶端的查詢和將查詢轉發到Realtime和Historical節點的

查詢操作中資料流和各個節點的關係如下圖所示：

如下圖是Druid叢集的管理層架構，該圖展示了相關節點和叢集管理所依賴的其他元件（如負責服務發現的ZooKeeper叢集）的關係：

一、Druid簡介
二、Druid架構組成及相關依賴
三、Druid叢集配置
四、Druid叢集啟動
五、Druid查詢
六、後記

一、Druid簡介

Druid是一個為大型冷資料集上實時探索查詢而設計的開源資料分析和儲存系統，提供極具成本效益並且永遠線上的實時資料攝取和任意資料處理。

主要特性：

• 為分析而設計——Druid是為OLAP工作流的探索性分析而構建。它支援各種filter、aggregator和查詢型別，併為新增新功能提供了一個框架。使用者已經利用Druid的基礎設施開發了高階K查詢和直方圖功能。
• 互動式查詢——Druid的低延遲資料攝取架構允許事件在它們建立後毫秒內查詢，因為Druid的查詢延時通過只讀取和掃描有必要的元素被優化。Aggregate和 filter沒有坐等結果。
• 高可用性——Druid是用來支援需要一直線上的SaaS的實現。你的資料在系統更新時依然可用、可查詢。規模的擴大和縮小不會造成資料丟失。
• 可伸縮——現有的Druid部署每天處理數十億事件和TB級資料。Druid被設計成PB級別。

就係統而言，Druid功能位於PowerDrill和Dremel之間。它實現幾乎所有Dremel提供的工具（Dremel處理任意巢狀資料結構，而Druid只允許一個基於陣列的巢狀級別）並且從PowerDrill吸收一些有趣的資料格式和壓縮方法。

Druid對於需要實時單一、海量資料流攝取產品非常適合。特別是如果你面向無停機操作時，如果你對查詢查詢的靈活性和原始資料訪問要求，高於對速度和無停機操作，Druid可能不是正確的解決方案。在談到查詢速度時候，很有必要澄清“快速”的意思是：Druid是完全有可能在6TB的資料集上實現秒級查詢。

二、Druid架構組成及其他依賴

2.1 Overlord Node (Indexing Service)

Overlord會形成一個載入批處理和實時資料到系統中的叢集，同時會對儲存在系統中的資料變更（也稱為索引服務）做出響應。另外，還包含了Middle Manager和Peons，一個Peon負責執行單個task，而Middle Manager負責管理這些Peons。

2.2 Coordinator Node

監控Historical節點組，以確保資料可用、可複製，並且在一般的“最佳”配置。它們通過從MySQL讀取資料段的元資料資訊，來決定哪些資料段應該在叢集中被載入，使用Zookeeper來確定哪個Historical節點存在，並且建立Zookeeper條目告訴Historical節點載入和刪除新資料段。

2.3 Historical Node

是對“historical”資料（非實時）進行處理儲存和查詢的地方。Historical節點響應從Broker節點發來的查詢，並將結果返回給broker節點。它們在Zookeeper的管理下提供服務，並使用Zookeeper監視訊號載入或刪除新資料段。

2.4 Broker Node

接收來自外部客戶端的查詢，並將這些查詢轉發到Realtime和Historical節點。當Broker節點收到結果，它們將合併這些結果並將它們返回給呼叫者。由於瞭解拓撲，Broker節點使用Zookeeper來確定哪些Realtime和Historical節點的存在。

2.5 Real-time Node

實時攝取資料，它們負責監聽輸入資料流並讓其在內部的Druid系統立即獲取，Realtime節點同樣只響應broker節點的查詢請求，返回查詢結果到broker節點。舊資料會被從Realtime節點轉存至Historical節點。

2.6 ZooKeeper

為叢集服務發現和維持當前的資料拓撲而服務；

2.7 MySQL

用來維持系統服務所需的資料段的元資料；

2.8 Deep Storage

儲存“冷資料”，可以使用HDFS。

三、Druid叢集配置

3.1 環境資訊

我這裡有兩臺機器，node1有32G記憶體，上面部署了Histotical Node和Coordinator Node；node2有72G記憶體，上面部署了其他四個服務。

3.2 通用配置（Common Configuration）

##建立MySQL資料庫

CREATE DATABASE `druid` DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;
grant all on druid.* to [email protected]’%’ identified by ‘druid1234′ WITH GRANT OPTION;
flush privileges;

##配置檔案

cd $DRUID_HOME/config/_common
vi common.runtime.properties（所有節點）

3.3 Overlord Node(Indexing Service)

在執行Overlord Node節點上：

cd $DRUID_HOME/config/overlord
vi runtime.properties

3.4 MiddleManager Node

在執行MiddleManager Node節點上：
cd $DRUID_HOME/config/middleManager
vi runtime.properties

3.5 Coordinator Node

在執行Coordinator Node節點上：
cd $DRUID_HOME/config/coordinator
vi runtime.properties

3.6 Historical Node

在執行Historical Node節點上：
cd $DRUID_HOME/config/historical
vi runtime.properties

3.7 Broker Node

在執行Broker Node節點上：
cd $DRUID_HOME/config/broker
vi runtime.properties

3.8 Real-time Node

在執行Real-time Node節點上：
cd $DRUID_HOME/config/realtime
vi runtime.properties

四、Druid叢集啟動

首次啟動時候，可以遵循下面的啟動順序。

4.1 Broker Node

cd $DRUID_HOME/
cp run_druid_server.sh run_broker.sh
vi run_broker.sh

替換以下內容：

執行./run_broker.sh啟動Broker Node:

4.2 Historical Node

cd $DRUID_HOME/
cp run_druid_server.sh run_historical.sh

vi run_historical.sh

替換以下內容：

執行命令./run_historical.sh啟動Historical Node:

4.3 Coordinator Node

cd $DRUID_HOME/
cp run_druid_server.sh run_coordinator.sh
vi run_coordinator.sh

替換以下內容：

執行命令./run_coordinator.sh啟動Coordinator Node.

4.4 Middle Manager

cd $DRUID_HOME/
cp run_druid_server.sh run_middleManager.sh
vi run_middleManager.sh

替換以下內容：

執行命令./run_middleManager.sh啟動MiddleManager Node。

4.5 Overlord Node

cd $DRUID_HOME/
cp run_druid_server.sh run_overlord.sh
vi run_overlord.sh

替換以下內容：

執行命令./run_overlord.sh啟動Overlord Node：

4.6 Real-time Node

cd $DRUID_HOME/
cp run_druid_server.sh run_realtime.sh
vi run_realtime.sh
替換以下內容：

##特別需要注意引數：

-Ddruid.realtime.specFile=/home/liuxiaowen/druid-0.8.1/examples/wikipedia/wikipedia_realtime.spec

啟動RealTime Node需要指定一個realtime資料來源的配置檔案，本文中使用example提供的wikipedia_realtime.spec，啟動後，該資料來源從irc.wikimedia.org獲取實時資料。

關於RealTime Node的配置，後續文章將會詳細介紹。

執行命令./run_realtime.sh啟動RealTime Node。

五、Druid查詢

第四部分中啟動RealTime Node時候使用了例子中自帶的配置檔案wikipedia_realtime.spec，啟動後，該RealTime Node會從irc.wikimedia.org獲取實時資料，本章將以該資料來源為例，學習幾種最常見的查詢。

5.1 select查詢

首先編輯查詢配置檔案select_query.json

該配置檔案的含義是從資料來源”wikipedia”進行select查詢所有列，時間區間為2015-11-01/2015-11-20，每10條記錄一個分頁。

執行命令查詢：

curl -X POST ‘http://node2:8093/druid/v2/?pretty’ -H ‘content-type: application/json’ -d @select_query.json

瞬間返回結果：

5.2 基於時間序列的查詢Timeseries query

編輯查詢配置檔案timeseries.json

該配置檔案的含義是：從資料來源” wikipedia”中進行時間序列查詢，區間為2010-01-01/2020-01-01，按分鐘彙總結果，彙總欄位為count和added；

執行查詢命令：

curl -X POST ‘http://node2:8093/druid/v2/?pretty’ -H ‘content-type: application/json’ -d @timeseries.json

同樣瞬間返回結果：

5.3 TopN查詢

編輯查詢檔案topn.json

該檔案含義是：從資料來源” wikipedia”進行TopN查詢，其中N=10,維度為page,指標為edit_count，也就是，在page維度上將edit_count彙總後取Top 10.

執行查詢命令：

curl -X POST ‘http://node2:8093/druid/v2/?pretty’ -H ‘content-type: application/json’ -d @topn.json

結果為：

六、後記

Druid目前已經有很多公司用於實時計算和實時OLAP，而且效果很好。雖然它的配置和查詢都比較複雜和繁瑣，但如果是真正基於海量資料的實時OLAP，它的威力還是很強大的。我將持續學習和分享Druid的相關技術，驗證它在海量資料實時OLAP上的效果，敬請關注我的部落格。

參考文章：

http://druid.io

http://www.csdn.net/article/2014-10-30/2822381/2

參考 http://www.infoq.com/cn/news/2015/04/druid-data/

http://druid.io/

http://www.open-open.com/lib/view/open1447852962978.html