Grafana整合ElasticSearch資料來源繪製Dashboard展示
Grafana整合ElasticSearch資料來源繪製Dashboard展示
0、前置資訊
0.1、版本資訊
grafana版本：v8.1.2
ElasticSearch資料來源版本：7.6.2
ElasticSearch7.6.2版本對應的Lucene版本：8.4.0
grafana官網地址：https://grafana.com/docs/grafana/v8.1/
grafana模板地址：https://grafana.com/grafana/dashboards/
Lucene查詢官方文件：
https://lucene.apache.org/core/8_11_1/queryparser/org/apache/lucene/queryparser/classic/package-summary.html#package_description
0.3、ElasticSearch索引欄位資訊
索引欄位資訊1、Grafana新增ElasticSearch資料來源
此處可以參考官網文件新增資料來源(如圖所示)，當然也可參考下面操作：
grafana官網文件地址:https://grafana.com/docs/grafana/v8.1/datasources/elasticsearch/
在Grafana的Setting中點選DataSources，參照下圖配置資料來源資訊
說明：
1> 上圖中index name為單一索引，按天生成，例如：索引名為：es-gateway-log-2022-03-15，所以配置時，index name配置為 [es-gateway-log-]YYYY.MM.DD，Pattern選擇的值為Daily，若索引為按月生成，則index name配置為 [es-gateway-log-]YYYY.MM，Pattern選擇的值為Monthly
2> ElasticSearch版本的選擇要與連線的ElasticSearch版本一致
2、Grafana中新增Panel進行資料展示
2.1、單一欄位統計資料量
例如：查詢過去一定時間段內，請求的總訪問量
展示效果如下圖：
操作步驟如下：
1> 新增一個空白的Panel
2> 繪製Panel展示資料
說明：
1> Panel面板資料展示方式，可以參看官方介紹
2> 關於展示資料的字型大小、顏色均可以通過改變對應的屬性值修改
3> 對於欄位名的修改，可以參考下圖
2.2、根據單一欄位檢視資料走勢
例如：查詢過去一定時間段內，請求的訪問量
展示效果如下所示：
操作步驟如下：
1> 新增一個空白的Panel
2> 繪製Panel展示資料
2.3、根據多個欄位檢視資料走勢
例如：查詢一定時間段內，各應用的訪問流量
展示效果如下所示：
操作步驟如下：
1> 新增一個空白的Panel
2> 繪製Panel展示資料
展示樣式選擇：
展示資料配置：
說明：
如果需要調整各個應用走勢曲線的顏色，可以在展示效果頁面上，點選要修改的應用對應的顏色，選擇對應顏色即可，可參考下圖：
2.4、根據某一欄位分組彙總展示
例如：根據應用ID分組展示選定時間段內的請求資料
展示效果如下所示：
操作步驟如下：
1> 新增一個空白的Panel
2> 繪製Panel展示資料
展示樣式選擇：
展示資料配置：
2.5、根據不同條件同時展示多個柱狀圖
例如：展示在所選時間段內訪問的總請求數，訪問成功的請求數，訪問失敗的請求數(這裡的判斷條件根據欄位 successFlag)
展示效果如下：
操作步驟如下：
1> 新增一個空白的Panel
2> 繪製Panel展示資料
展示樣式選擇：
展示資料配置：
2.6、根據某一欄位展示平均資料
例如：展示所選時間段內服務的平均執行時間
展示效果如下所示：
操作步驟如下：
1> 新增一個空白的Panel
2> 繪製Panel展示資料
展示樣式選擇：
展示資料配置：
2.7、列表展示ElasticSearch原生資料
例如：展示kibana中當前索引資料，這裡以兩種方式展示：
方式1：展示ElasticSearch原始資料
展示效果如下所示：
操作步驟如下：
1> 新增一個空白的Panel
2> 繪製Panel展示資料
展示樣式選擇：
展示資料配置：
方式2：可選擇欄位展示ElasticSearch原生資料
展示效果如下所示：
操作步驟如下：
1> 新增一個空白的Panel
2> 繪製Panel展示資料
展示樣式選擇：
展示資料配置：
2.8、多條件查詢其中某一欄位不為空
例如：分組展示服務執行時間大於2秒的請求資料
展示效果如下所示：
操作步驟如下：
1> 新增一個空白的Panel
2> 繪製Panel展示資料
展示樣式選擇：
展示資料配置：
說明：
當前ElasticSearch7.6.2版本對應的Lucene版本為8.4.0，關於Lucene的查詢語法，可參見官方文件：
2.9、查詢欄位為空的資料
例如：由於在ElasticSearch儲存的資料包含有appId為空的資料，所以需要將這部分資料查詢出來，同時因為這部分資料的appId和appName值為空，所以查詢出來的資料不會包含這些欄位值。
展示效果如下所示：
操作步驟如下：
1> 新增一個空白的Panel
2> 繪製Panel展示資料
展示樣式選擇：
展示資料配置：
2.10、計算成功率、失敗率
例如：計算在一定時間段內，服務處理請求的成功率和失敗率(這裡以successFlag欄位作為篩選條件)
展示效果如下所示：
操作步驟如下：
1> 新增一個空白的Panel
2> 繪製Panel展示資料
展示樣式選擇：
展示資料配置：
資料百分號展示設定：