2. 程式人生 > >時序數據庫連載系列：指標屆的獨角獸Prometheus

時序數據庫連載系列：指標屆的獨角獸Prometheus

阿新 • • 發佈：2019-02-26
cal 相互 局限 tag 部分 語言 基本 The rap

簡介

Prometheus是SoundCloud公司開發的一站式監控告警平臺，依賴少，功能齊全。
於2016年加入CNCF，廣泛用於 Kubernetes集群的監控系統中，2018.8月成為繼K8S之後第二個畢業的項目。Prometheus作為CNCF生態圈中的重要一員,其活躍度僅次於 Kubernetes。

關鍵功能包括：

  • 多維數據模型：metric，labels
  • 靈活的查詢語言：PromQL， 在同一個查詢語句，可以對多個 metrics 進行乘法、加法、連接、取分數位等操作。
  • 可獨立部署，拆箱即用，不依賴分布式存儲
  • 通過Http pull的采集方式
  • 通過push gateway來做push方式的兼容
  • 通過靜態配置或服務發現獲取監控項
  • 支持圖表和dashboard等多種方式

核心組件：

  • Prometheus Server： 采集和存儲時序數據
  • client庫： 用於對接 Prometheus Server, 可以查詢和上報數據
  • push gateway處理短暫任務：用於批量，短期的監控數據的匯總節點，主要用於業務數據匯報等
  • 定制化的exporters,比如：HAProxy， StatsD，Graphite等等， 匯報機器數據的插件
  • 告警管理：Prometheus 可以配置 rules，然後定時查詢數據，當條件觸發的時候，會將 alert 推送到配置的 Alertmanager
  • 多種多樣的支持工具

優勢和劣勢：

  • 同InfluxDB相比, 在場景方面：PTSDB 適合數值型的時序數據。不適合日誌型時序數據和用於計費的指標統計。InfluxDB面向的是通用時序平臺，包括日誌監控等場景。而Prometheus更側重於指標方案。兩個系統之間有非常多的相似之處，包括采集，存儲，報警，展示等等
    • Influxdata的組合有：telegraf+Influxdb+Kapacitor+Chronograf
    • Promethues的組合有：exporter+prometheus server+AlertManager+Grafana
    • 采集端prometheus主推拉的模式，同時通過push gateway支持推的模式。influxdata的采集工具telegraf則主打推的方式。
    • 存儲方面二者在基本思想上相通，關鍵點上有差異包括：時間線的索引，亂序的處理等等。
    • 數據模型上Influxdb支持多值模型，String類型等，更豐富一些。
    • Kapacitor 是一個混合了 prometheus 的數據處理,存儲規則,報警規則以及告警通知功能的工具.而AlertManager進一步提供了分組,去重等等。
    • influxdb之前提供的cluster模式被移除了，現在只保留了基於relay的高可用，集群模式作為商業版本的特性發布。prometheus提供了一種很有特色的cluster模式，通過多層次的proxy來聚合多個prometheus節點實現擴展。
      同時開放了remote storage，因此二者又相互融合，Influxdb作為prometheus的遠端存儲。
  • OpenTSDB 的數據模型與Prometheus幾乎相同，查詢語言上PromQL更簡潔，OpenTSDB功能更豐富。OpenTSDB依賴的是Hadoop生態,Prometheus成長於Kubernetes生態。

數據模型

  • 采用單值模型, 數據模型的核心概念是metric,labels和samples.
  • 格式：<metric name>{<label name>=<label value>, …}
    • 例如：http_requests_total{method="POST",endpoint="/api/tracks"}。
  • metric的命名具有業務含義，比如http_request_total.
    • 指標的類型分為：Counter， Gauge，Historgram，Summary
  • labels用於表示維度.Samples由時間戳和數值組成。
  • jobs and instances
    • Prometheus 會自動生成target和instances作為標簽
      • job: api-server
        • instance 1: 1.2.3.4:5670
        • instance 2: 1.2.3.4:5671

整體設計思路?

技術分享圖片

Prometheus的整體技術架構可以分為幾個重要模塊：

  • Main function：作為入口承擔著各個組件的啟動，連接，管理。以Actor-Like的模式協調組件的運行
  • Configuration：配置項的解析，驗證，加載
  • Scrape discovery manager：服務發現管理器同抓取服務器通過同步channel通信，當配置改變時需要重啟服務生效。
  • Scrape manager：抓取指標並發送到存儲組件
  • Storage：
    • Fanout Storage：存儲的代理抽象層，屏蔽底層local storage和remote storage細節，samples向下雙寫，合並讀取。
    • Remote Storage：Remote Storage創建了一個Queue管理器，基於負載輪流發送，讀取客戶端merge來自遠端的數據。
    • Local Storage：基於本地磁盤的輕量級時序數據庫。
  • PromQL engine：查詢表達式解析為抽象語法樹和可執行查詢，以Lazy Load的方式加載數據。
  • Rule manager：告警規則管理
  • Notifier：通知派發管理器
  • Notifier discovery：通知服務發現
  • Web UI and API：內嵌的管控界面，可運行查詢表達式解析，結果展示。

PTSDB概述

本文側重於Local Storage PTSDB的解析. PTSDB的核心包括：倒排索引+窗口存儲Block。
數據的寫入按照兩個小時為一個時間窗口，將兩小時內產生的數據存儲在一個Head Block中，每一個塊中包含該時間窗口內的所有樣本數據(chunks)，元數據文件(meta.json)以及索引文件(index)。
最新寫入數據保存在內存block中， 2小時後寫入磁盤。後臺線程把2小時的數據最終合並成更大的數據塊，一般的數據庫在固定一個內存大小後，系統的寫入和讀取性能會受限於這個配置的內存大小。而PTSDB的內存大小是由最小時間周期，采集周期以及時間線數量來決定的。
為防止內存數據丟失，實現wal機制。刪除記錄在獨立的tombstone文件中。

核心數據結構和存儲格式

PTSDB的核心數據結構是HeadAppender，Appender commit時wal日誌編碼落盤，同時寫入head block中。

技術分享圖片

PTSDB本地存儲使用自定義的文件結構。主要包含：WAL，元數據文件，索引，chunks，tombstones

技術分享圖片

Write Ahead Log

WAL 有3種編碼格式：時間線，數據點，以及刪除點。總體策略是基於文件大小滾動，並且根據最小內存時間執行清除。

  • 當日誌寫入時，以segment為單位存儲，每個segment默認128M, 記錄數大小達到32KB頁時刷新一次。當剩余空間小於新的記錄數大小時，創建新的Segment。
  • 當compation時WAL基於時間執行清除策略，小於內存中block的最小時間的wal日誌會被刪除。
  • 重啟時，首先打開最新的Segment，從日誌中恢復加載數據到內存。?
技術分享圖片 ?

元數據文件

meta.json文件記錄了Chunks的具體信息, 比如新的compactin chunk來自哪幾個小的chunk。 這個chunk的統計信息，比如：最小最大時間範圍，時間線，數據點個數等等
compaction線程根據統計信息判斷該blocks是否可以做compact：（maxTime-minTime）占整體壓縮時間範圍的50%， 刪除的時間線數量占總體數量的5%。

技術分享圖片

索引

索引一部分先寫入Head Block中，隨著compaction的觸發落盤。
索引采用的是倒排的方式，posting list裏面的id是局部自增的，作為reference id表示時間線。索引compact時分為6步完成索引的落盤:Symbols->Series->LabelIndex->Posting->OffsetTable->TOC

  • Symbols存儲的是tagk, tagv按照字母序遞增的字符串表。比如__name__,go_gc_duration_seconds, instance, localhost:9090等等。字符串按照utf8統一編碼。
  • Series存儲了兩部分信息，一部分是標簽鍵值對的符號表引用；另外一部分是時間線到數據文件的索引，按照時間窗口切割存儲數據塊記錄的具體位置信息，因此在查詢時可以快速跳過大量非查詢窗口的記錄數據，
    為了節省空間，時間戳範圍和數據塊的位置信息的存儲采用差值編碼。
  • LabelIndex存儲標簽鍵以及每一個標簽鍵對應的所有標簽值，當然具體存儲的數據也是符號表裏面的引用值。
  • Posting存儲倒排的每個label對所對應的posting refid
  • OffsetTable加速查找做的一層映射，將這部分數據加載到內存。OffsetTable主要關聯了LabelIndex和Posting數據塊。TOC是各個數據塊部分的位置偏移量，如果沒有數據就可以跳過查找。?
技術分享圖片

Chunks

數據點存放在chunks目錄下，每個data默認512M，數據的編碼方式支持XOR，chunk按照refid來索引，refid由segmentid和文件內部偏移量兩個部分組成。

技術分享圖片

Tombstones

記錄刪除通過mark的方式，數據的物理清除發生在compaction和reload的時候。以時間窗口為單位存儲被刪除記錄的信息。

技術分享圖片

查詢PromQL

Promethues的查詢語言是PromQL，語法解析AST，執行計劃和數據聚合是由PromQL完成，fanout模塊會向本地和遠端同時下發查詢數據，PTSDB負責本地數據的檢索。
PTSDB實現了定義的Adpator，包括Select, LabelNames, LabelValues和Querier.

PromQL定義了三類查詢：
瞬時數據 (Instant vector): 包含一組時序，每個時序只有一個點，例如：http_requests_total
區間數據 (Range vector): 包含一組時序，每個時序有多個點，例：http_requests_total[5m]
純量數據 (Scalar): 純量只有一個數字，沒有時序，例如：count(http_requests_total)
一些典型的查詢包括：

  • 查詢當前所有數據
    http_requests_total
    select * from http_requests_total where timestamp between xxxx and xxxx
  • 條件查詢
    http_requests_total{code="200", handler="query"}
    select * from http_requests_total where code="200" and handler="query" and timestamp between xxxx and xxxx
  • 模糊查詢: code 為 2xx 的數據
    http_requests_total{code~="20"}
    select * from http_requests_total where code like "%20%" and timestamp between xxxx and xxxx
  • 值過濾： value大於100
    http_requests_total > 100
    select * from http_requests_total where value > 100 and timestamp between xxxx and xxxx
  • 範圍區間查詢: 過去 5 分鐘數據
    http_requests_total[5m]
    select * from http_requests_total where timestamp between xxxx-5m and xxxx
  • count 查詢: 統計當前記錄總數
    count(http_requests_total)
    select count(*) from http_requests_total where timestamp between xxxx and xxxx
  • sum 查詢：統計當前數據總值
    sum(http_requests_total)
    select sum(value) from http_requests_total where timestamp between xxxx and xxxx
  • top 查詢: 查詢最靠前的 3 個值
    topk(3, http_requests_total)
    select * from http_requests_total where timestamp between xxxx and xxxx order by value desc limit 3
  • irate查詢：速率查詢
    irate(http_requests_total[5m])
    select code, handler, instance, job, method, sum(value)/300 AS value from http_requests_total where timestamp between xxxx and xxxx group by code, handler, instance, job, method;

PTSDB關鍵技術點

亂序處理

PTSDB對於亂序的處理采用了最小時間窗口的方式，指定合法的最小時間戳，小於這一時間戳的數據會丟棄不再處理。
合法最小時間戳取決於當前head block裏面最早的時間戳和可存儲的chunk範圍。
這種對於數據行為的限定極大的簡化了設計的靈活性，對於compaction的高效處理以及數據完整性提供了基礎。

內存的管理

使用mmap讀取壓縮合並後的大文件（不占用太多句柄），
建立進程虛擬地址和文件偏移的映射關系，只有在查詢讀取對應的位置時才將數據真正讀到物理內存。
繞過文件系統page cache，減少了一次數據拷貝。
查詢結束後，對應內存由Linux系統根據內存壓力情況自動進行回收，在回收之前可用於下一次查詢命中。
因此使用mmap自動管理查詢所需的的內存緩存，具有管理簡單，處理高效的優勢。

Compaction

Compaction主要操作包括合並block、刪除過期數據、重構chunk數據。

  • 合並多個block成為更大的block，可以有效減少block個，當查詢覆蓋的時間範圍較長時，避免需要合並很多block的查詢結果。
  • 為提高刪除效率，刪除時序數據時，會記錄刪除的位置，只有block所有數據都需要刪除時，才將block整個目錄刪除。
  • block合並的大小也需要進行限制，避免保留了過多已刪除空間(額外的空間占用)。
    比較好的方法是根據數據保留時長，按百分比（如10%）計算block的最大時長, 當block的最小和最大時長超過2/3blok範圍時，執行compaction

快照

PTSDB提供了快照備份數據的功能，用戶通過admin/snapshot協議可以生成快照，快照數據存儲於data/snapshots/-目錄。

PTSDB最佳實踐

  • 在一般情況下，Prometheus中存儲的每一個樣本大概占用1-2字節大小。如果需要對Prometheus Server的本地磁盤空間做容量規劃時，可以通過以下公式計算：
    needed_disk_space = retention_time_seconds * ingested_samples_per_second * bytes_per_sample
  • 保留時間(retention_time_seconds)和樣本大小(bytes_per_sample)不變的情況下，如果想減少本地磁盤的容量需求，
    只能通過減少每秒獲取樣本數(ingested_samples_per_second)的方式。
    因此有兩種手段，一是減少時間序列的數量，二是增加采集樣本的時間間隔。
    考慮到Prometheus會對時間序列進行壓縮，因此減少時間序列的數量效果更明顯。
  • PTSDB的限制在於集群和復制。因此當一個node宕機時，會導致一定窗口的數據丟失。
    當然，如果業務要求的數據可靠性不是特別苛刻，本地盤也可以存儲幾年的持久化數據。
    當PTSDB Corruption時，可以通過移除磁盤目錄或者某個時間窗口的目錄恢復。
  • PTSDB的高可用，集群和歷史數據的保存可以借助於外部解決方案，不在本文討論範圍。
  • 歷史方案的局限性，PTSDB在早期采用的是單條時間線一個文件的存儲方式。這中方案有非常多的弊端，比如：
    Snapshot的刷盤壓力：定期清理文件的負擔；低基數和長周期查詢查詢，需要打開大量文件；時間線膨脹可能導致inode耗盡。

PTSDB面臨的挑戰

在使用過程中，PTSDB也在某些方面遇到了一些問題，比如；

  • Compaction對於IO, CPU, 以及Memory的影響
  • 冷啟動後，預熱階段CPU和內存占用會上升
  • 在高速寫入時會出現CPU的Spike等等

總結

PTSDB 作為K8S監控方案裏面存儲時序數據的實施標準，其在時序屆影響力和熱度都在逐步上升。Alibaba TSDB目前已經支持通過Adapter的方式作為其remote storage的方案。

原文鏈接
更多技術幹貨 請關註阿裏雲雲棲社區微信號 ：yunqiinsight

時序數據庫連載系列：指標屆的獨角獸Prometheus

相關推薦

時序數據庫連載系列：指標屆的獨角獸Prometheus

cal 相互 局限 tag 部分 語言 基本 The rap 簡介 Prometheus是SoundCloud公司開發的一站式監控告警平臺，依賴少，功能齊全。於2016年加入CNCF，廣泛用於 Kubernetes集群的監控系統中，2018.8月成為繼K8S之後第二個畢業

時序數據庫連載系列: 時序數據庫一哥InfluxDB之存儲機制解析

結構 過程 們的 相同 分片 報錯 情況下 什麽 上層 InfluxDB 的存儲機制解析本文介紹了InfluxDB對於時序數據的存儲/索引的設計。由於InfluxDB的集群版已在0.12版就不再開源，因此如無特殊說明，本文的介紹對象都是指 InfluxDB 單機版 Inf

雜項-DB：時序數據庫

white padding 海量數據 https con bte float cnblogs 特殊 ylbtech-雜項-DB：時序數據庫 1.返回頂部 1、 時序數據庫全稱為時間序列數據庫。時間序列數據庫主要用於指處理帶時間標簽（按照時間

互聯網級監控系統必備-時序數據庫之Influxdb技術

範圍 算術 變化 tag time int curl index 服務 時間序列數據庫，簡稱時序數據庫，Time Series Database，一個全新的領域，最大的特點就是每個條數據都帶有Time列。 時序數據庫到底能用到什麽業務場景，答案是：監控系統。 Baidu

時序數據庫TSDB簡單了解

數據 針對 大數 單機 influxdb 記錄 .com div nbsp 由於項目需要，簡單看來下時序數據庫： 時序數據庫是針對大量數據寫入、主要用於記錄時序數據的，使用於監控記錄的場景；寫多讀少場景； 　　什麽是時序數據。時序數據是基於時間的一系列的數據。在有時間的坐標

Druid時序數據庫升級流程

accesskey global 版本升級 因此 mit mapred 特性 ati bucket Druid升級流程 目前Druid集群版本為0.11.0，新版本0.12.1已支持Druid SQL和Redis，考慮到Druid新特性以及性能的提升，因此需要將Druid從

阿裏雲成為國內首個時序數據庫標準工作組成員

大腦 png 幫助 項目 量變 發展 戰略 智能 實時分析 摘要： 國內首個時序數據庫標準制定中，阿裏雲成為標準工作組認證成員 近期，在中國信息通信研究院的牽頭下，阿裏雲參與了國內首個時間序列數據庫標準的制定，也正式成為該標準工作組成員。此標準屬於中國通信標準化協會大數據技

物聯網系統開發如何選擇時序數據庫

壓縮 磁盤 可能性 服務器 至少 存儲設備 互聯 寫入 內容 在很多物聯網系統中，都需要對聯網的設備進行監控，並對監控采樣到的數據進行持久化。對采樣數據進行持久化，其實很多年前在工業領域已經有專門的數據庫來完成這個任務了。在工業領域，這個叫實時數據庫。 工業領域的實時數據

【融雲分析】從過剩存儲資源到分布式時序數據庫的長存儲

RoCE size img 服務 官方 基本 方案 行存儲 設計 背景介紹： 作為一名 Infra，管理平臺的各種基礎組建以及基本的服務質量是必修的功課，而如何對復雜和繁多的基礎平臺，甚至包括上面運行的 Ops 系統、業務系統，其穩定性的各項指標都是衡量 Infra 是否稱

數據庫面試系列之一：內連接和外連接

數據庫 面試 log 全外連接 nbsp 結果 連接 -1 .cn 內連接是返回關系表中既滿足查詢條件又滿足連接條件的元組 外連接是返回關系表中滿足查詢條件的但不一定滿足連接條件的元組 外連接分為：左外連接，右外連接，全外連接 左外連接是返回左表中滿足查詢條件但不一定滿

數據庫面試系列之二：視圖

名稱 獨立 建立 數據庫 有用 圖的定義 適合 場景 多個 視圖的定義：視圖是一個或者多個基本表（或者視圖）導出的表。 視圖是一張虛表，視圖的數據並不實際存儲 視圖的優點： 1.視圖可以簡化用戶的操作 2.視圖可以讓用戶從多個角度來看待同一數據 3.視圖提供一定的數據邏輯獨

數據庫面試系列之五：mysql的存儲引擎

當前 查看 efault 表鎖 blog 如果 show 事務 測試 mysql的默認存儲引擎是innoDB,是唯一一個支持事務和支持外鍵的存儲引擎， 可以通過：show variables like ‘default_storage_engine‘;查看當前數據庫到默認引

數據庫基礎(1)：數據定義

rop 數據庫基礎 class red 教師 clas 教師表 屬性 sna 1．實驗內容 1) 用Management Studio創建數據庫University_Mis 2) 使用SQL語句創建關系數據庫基本表： 學生表Students(Sno,Snam

數據庫基礎知識：數據庫中的約束和三大範式

設計 一個 生效 訂單 詳細介紹 求長 山東 英文名稱 相關 一.數據庫中的範式： 　　範式， 英文名稱是 Normal Form，它是英國人 E.F.Codd（關系數據庫的老祖宗）在上個世紀70年代提出關系數據庫模型後總結出來的，範式是關系數據庫理論的基礎，也是我們在設計

時序數據簡介

多個 cpu 具體實現 col 但是 新的 最小 com asset 1 什麽是時序數據 生活中，我們經常會接觸到需要對某些指標或者狀態按時間序列進行統計和分析的場景，典型的如股票大盤走勢、氣象變化、內存監控等。 這些依賴於時間而變化，可以用數值來反映其變化程度的數據就

連接MySQL數據庫出現錯誤：Access denied for user 'root'@'localhost' (using password:YES)

回車 發現 using 命令行 denied sql數據庫 roo 成功 host 　　自己在重拾MySQL數據庫的時候，第一次連接數據庫時候出現Access denied for user ‘root‘@‘localhost‘ (using password:YES)的錯

MysqL5.7在使用mysqldump命令備份數據庫報錯：mysqldump: [Warning] Using a password on the command line interface can be insecure.

導出 interface password spm 可能 tmp efm extra tps 在阿裏雲服務器增加一個shell腳本定時備份數據庫腳本執行任務時，測試性的執行了備份命令，如下 [root@iZ2ze503xw2q1fftv5rhboZ mysql_bak

特殊符號存入mysql數據庫時報錯：Incorrect string value: 'xF0x9Fx98x84xF0x9F的解決方法

height blog quest back 輸入 數據庫字段 lan post value 問題描述：從新浪微博抓取消息保存到MySQL數據中，對應數據庫字段為varchar，字符編碼utf-8。部分插入成功，部分插入失敗，報錯如標題。在網上查詢，有人說是編碼問題，建議修

vs2008編譯錯誤fatal error C1902: 程序數據庫管理器不匹配；請檢查安裝解決

不清楚 錯誤 管理器 編譯 ror 匹配 原因 nbsp erro 重裝了本本上的Xp系統，如往常一樣，升級，裝殺毒軟件，開發工具。一些進行的非常順利。然而，在我打開VS2008準備耕作的時候，盡然出現了一邪惡的錯誤提示：vs2008編譯錯誤fatal error C19

3類數據庫的聯動：mysql、mongodb、redis

__main__ redis ctr inpu close brush init all cep 3類數據庫的聯動：mysql、mongodb、redis from pymysql import * from pymongo import * from redis imp