Python與rrdtool的結合模組
rrdtool（round robin database）工具為環狀資料庫的儲存格式，round robin是一種處理定量資料以及當前元素指標的技術。rrdtool主要用來跟蹤物件的變化情況，生成這些變化的走勢圖，比如業務的訪問流量、系統性能、磁碟利用率等趨勢圖，很多流行監控平臺都使用到rrdtool，比較有名的為Cacti、Ganglia、Monitorix等。更多rrdtool介紹見官網http://oss.oetiker.ch/rrdtool/。rrdtool是一個複雜的工具，涉及較多引數概念，本節主要通過Python的rrdtool模組對rrdtool的幾個常用方法進行封裝，包括create、fetch、graph、info、update等方法，本節對rrdtool的基本知識不展開說明，重點放在Python rrdtool模組的常用方法使用介紹上。
rrdtool模組的安裝方法如下：
- easy_install python-rrdtool #pip安裝方法
- pip install python-rrdtool #easy_install安裝方法
- #需要rrdtool工具及其他類包支援，CentOS環境推薦使用yum安裝方法
- # yum install rrdtool-python
3.2.1 rrdtool模組常用方法說明
下面介紹rrdtool模組常用的幾個方法，包括create（建立rrd）、update（更新rrd）、graph（繪圖）、fetch（查詢rrd）等。
1. Create方法
create filename [--start|-b start time] [--step|-s step] [DS:ds-name:DST:heartbeat:min:max] [RRA:CF:xff:steps:rows]方法，建立一個字尾為rrd的rrdtool資料庫
filename建立的rrdtool資料庫檔名，預設字尾為.rrd；
--start指定rrdtool第一條記錄的起始時間，必須是timestamp的格式；
--step指定rrdtool每隔多長時間就收到一個值，預設為5分鐘；
DS用於定義資料來源，用於存放指令碼的結果的變數；
DST用於定義資料來源型別，rrdtool支援COUNTER（遞增型別）、DERIVE（可遞增可遞減型別）、ABSOLUTE（假定前一個時間間隔的值為0，再計算平均值）、GUAGE（收到值後直接存入RRA）、COMPUTE（定義一個表示式，引用DS並自動計算出某個值）5種，比如網絡卡流量屬於計數器型，應該選擇COUNTER；
RRA用於指定資料如何存放，我們可以把一個RRA看成一個表，儲存不同間隔的統計結果資料，為CF做資料合併提供依據，定義格式為：[RRA:CF:xff:steps:rows]；
CF統計合併資料，支援AVERAGE（平均值）、MAX（最大值）、MIN（最小值）、LAST（最新值）4種方式。
2. update方法
update filename [--template|-t ds-name[:ds-name]...] N|timestamp:value[:value...] [timestamp:value[:value...] ...] 方法，儲存一個新值到rrdtool資料庫，updatev和update類似，區別是每次插入後會返回一個狀態碼，以便了解是否成功（updatev用0表示成功，–1表示失敗）。引數說明如下：
filename指定儲存資料到的目標rrd檔名；
-t ds-name[:ds-name]指定需要更新的DS名稱；
N|Timestamp表示資料採集的時間戳，N表示當前時間戳；
value[:value...]更新的資料值，多個DS則多個值。
3. graph方法
graph filename [-s|--start seconds] [-e|--end seconds] [-x|--x-grid x-axis grid and label] [-y|--y-grid y-axis grid and label] [--alt-y-grid] [--alt-y-mrtg] [--alt-autoscale] [--alt-autoscale-max] [--units-exponent] value [-v|--vertical-label text] [-w|--width pixels] [-h|--height pixels] [-i|--interlaced] [-f|--imginfo formatstring] [-a|--imgformat GIF|PNG|GD] [-B|--background value] [-O|--overlay value] [-U|--unit value] [-z|--lazy] [-o|--logarithmic] [-u|--upper-limit value] [-l|--lower-limit value] [-g|--no-legend] [-r|--rigid] [--step value] [-b|--base value] [-c|--color COLORTAG#rrggbb] [-t|--title title] [DEF:vname=rrd:ds-name:CF] [CDEF:vname=rpn-expression] [PRINT:vname:CF:format] [GPRINT:vname:CF:format] [COMMENT:text] [HRULE:value#rrggbb[:legend]] [VRULE:time#rrggbb[:legend]] [LINE{1|2|3}:vname[#rrggbb [:legend]]] [AREA:vname[#rrggbb[:legend]]] [STACK:vname[#rrggbb[:legend]]]方法，根據指定的rrdtool資料庫進行繪圖，關鍵引數說明如下：
filename指定輸出影象的檔名，預設是PNG格式；
--start指定起始時間；
--end指定結束時間；
--x-grid控制X軸網格線刻度、標籤的位置；
--y-grid控制Y軸網格線刻度、標籤的位置；
--vertical-label指定Y軸的說明文字；
--width pixels指定圖表寬度（畫素）；
--height pixels指定圖表高度（畫素）；
--imgformat指定影象格式（GIF|PNG|GD）；
--background指定影象背景顏色，支援#rrggbb表示法；
--upper-limit指定Y軸資料值上限；
--lower-limit指定Y軸資料值下限；
--no-legend取消圖表下方的圖例；
--rigid嚴格按照upper-limit與lower-limit來繪製；
--title圖表頂部的標題；
DEF:vname=rrd:ds-name:CF指定繪圖用到的資料來源；
CDEF:vname=rpn-expression合併多個值；
GPRINT:vname:CF:format圖表的下方輸出最大值、最小值、平均值等；
COMMENT:text指定圖表中輸出的一些字串；
HRULE:value#rrggbb用於在圖表上面繪製水平線；
VRULE:time#rrggbb用於在圖表上面繪製垂直線；
LINE{1|2|3}:vname使用線條來繪製資料圖表，{1|2|3}表示線條的粗細；
AREA:vname使用面積圖來繪製資料圖表。
4. fetch方法
fetch filename CF [--resolution|-r resolution] [--start|-s start] [--end|-e end]方法，根據指定的rrdtool資料庫進行查詢，關鍵引數說明如下：
filename指定要查詢的rrd檔名；
CF包括AVERAGE、MAX、MIN、LAST，要求必須是建庫時RRA中定義的型別，否則會報錯；
--start --end指定查詢記錄的開始與結束時間，選項的值必是 timestamp 的格式,預設可省略。
獲取當前時間的時間戳：date +%s
3.2.2 實踐：實現網絡卡流量圖表繪製
在日常運營工作當中，觀察資料的變化趨勢有利於瞭解我們的服務質量，比如在系統監控方面，網路流量趨勢圖直接展現了當前網路的吞吐。 CPU、記憶體、磁碟空間利用率趨勢則反映了伺服器執行健康狀態。通過這些資料圖表管理員可以提前做好應急預案，對可能存在的風險點做好防範。本次實踐通過rrdtool模組實現伺服器網絡卡流量趨勢圖的繪製，即先通過create方法建立一個rrd資料庫，再通過update方法實現資料的寫入，最後可以通過graph方法實現圖表的繪製，以及提供last、first、info、fetch方法的查詢。圖3-12為rrd建立到輸出圖表的過程。
第一步 採用create方法建立rrd資料庫，引數指定了一個rrd檔案、更新頻率setp、起始時間--start、資料來源DS、資料來源型別DST、資料週期定義RRA等，詳細原始碼如下：
【/root/xls/create.py】
1 # -*- coding: utf-8 -*- 2 #!/usr/bin/python 3 import rrdtool 4 import time 5 6 cur_time=str(int(time.time())) #獲取當前Linux時間戳作為rrd起始時間 7 #資料寫頻率--step為300秒(即5分鐘一個數據點) 8 rrd=rrdtool.create('Flow.rrd','--step','300','--start',cur_time, 9 #定義資料來源eth1_in(入流量)、eth1_out(出流量)；型別都為COUNTER(遞增)；600秒為心跳值， 10 #其含義是600秒沒有收到值，則會用UNKNOWN代替；0為最小值；最大值用U代替，表示不確定 11 'DS:eth1_in:COUNTER:600:0:U', 12 'DS:eth1_out:COUNTER:600:0:U', 13 14 #RRA定義格式為[RRA:CF:xff:steps:rows]，CF定義了AVERAGE、MAX、MIN三種資料合併方式 15 #xff定義為0.5，表示一個CDP中的PDP值如超過一半值為UNKNOWN，則該CDP的值就被標為UNKNOWN 16 #下列前4個RRA的定義說明如下，其他定義與AVERAGE方式相似，區別是存最大值與最小值 17 # 每隔5分鐘(1*300秒)存一次資料的平均值,存600筆，即2.08天 18 # 每隔30分鐘(6*300秒)存一次資料的平均值,存700筆，即14.58天（2周） 19 # 每隔2小時(24*300秒)存一次資料的平均值,存775筆，即64.58天（2個月） 20 # 每隔24小時(288*300秒)存一次資料的平均值,存797筆，即797天(2年) 21 'RRA:AVERAGE:0.5:1:600', 22 'RRA:AVERAGE:0.5:6:700', 23 'RRA:AVERAGE:0.5:24:775', 24 'RRA:AVERAGE:0.5:288:797', 25 'RRA:MAX:0.5:1:600', 26 'RRA:MAX:0.5:6:700', 27 'RRA:MAX:0.5:24:775', 28 'RRA:MAX:0.5:444:797', 29 'RRA:MIN:0.5:1:600', 30 'RRA:MIN:0.5:6:700', 31 'RRA:MIN:0.5:24:775', 32 'RRA:MIN:0.5:444:797') 33 if rrd: 34 print rrdtool.error()
第二步 採用updatev方法更新rrd資料庫，引數指定了當前的Linux時間戳，以及指定eth1_in、eth1_out值（當前網絡卡的出入流量），網絡卡流量我們通過psutil模組來獲取，如psutil.network_io_counters()[1]為入流量，關於psutil模組的介紹見第1.1。詳細原始碼如下：
【/root/xls/update.py】
1 # -*- coding: utf-8 -*- 2 #!/usr/bin/python 3 import rrdtool 4 import time,psutil 5 6 total_input_traffic = psutil.network_io_counters()[1] #獲取網絡卡入流量 7 total_output_traffic = psutil.network_io_counters()[0] #獲取網絡卡出流量 8 starttime=int(time.time()) #獲取當前Linux時間戳 9 #將獲取到的三個資料作為updatev的引數，返回{'return_value': 0L}則說明更新成功，反之失敗 10 update=rrdtool.updatev('/root/xls/Flow.rrd','%s:%s:%s' % (str(starttime),str(total_input_traffic),str(total_output_traffic))) 11 print update
將程式碼加入crontab，並配置5分鐘作為採集頻率，crontab配置如下：
*/5 * * * * /usr/bin/python /root/xls/update.py > /dev/null 2>&1
第三步 採用graph方法繪製圖表，此示例中關鍵引數使用了--x-grid定義X軸網格刻度；DEF指定資料來源；使用CDEF合併資料；HRULE繪製水平線（告警線）；GPRINT輸出最大值、最小值、平均值等。詳細原始碼如下：
【/root/xls/graph.py】
1 # -*- coding: utf-8 -*- 2 #!/usr/bin/python 3 import rrdtool 4 import time 5 #定義圖表上方大標題 6 title="Server network traffic flow ("+time.strftime('%Y-%m-%d',time.localtime(time.time()))+")" 7 #重點解釋"--x-grid","MINUTE:12:HOUR:1:HOUR:1:0:%H"引數的作用（從左往右進行分解） 8 "MINUTE:12" #表示控制每隔12分鐘放置一根次要格線 9 "HOUR:1" #表示控制每隔1小時放置一根主要格線 10 "HOUR:1" # 表示控制1個小時輸出一個label標籤 11 "0:%H" #0表示數字對齊格線，%H表示標籤以小時顯示 12 rrdtool.graph( "Flow.png", "--start", "-1d","--vertical-label=Bytes/s", 13 "--x-grid","MINUTE:12:HOUR:1:HOUR:1:0:%H", 14 "--width","650","--height","230","--title",title, 15 "DEF:inoctets=Flow.rrd:eth1_in:AVERAGE", #指定網絡卡入流量資料來源DS及CF 16 "DEF:outoctets=Flow.rrd:eth1_out:AVERAGE", #指定網絡卡出流量資料來源DS及CF 17 "CDEF:total=inoctets,outoctets,+", #通過CDEF合併網絡卡出入流量，得出總流量total 18 19 "LINE1:total#FF8833:Total traffic", #以線條方式繪製總流量 20 "AREA:inoctets#00FF00:In traffic", #以面積方式繪製入流量 21 "LINE1:outoctets#0000FF:Out traffic", #以線條方式繪製出流量 22 "HRULE:6144#FF0000:Alarm value\\r", #繪製水平線，作為告警線，閾值為6.1k 23 "CDEF:inbits=inoctets,8,*", #將入流量換算成bit，即*8，計算結果給inbits 24 "CDEF:outbits=outoctets,8,*", #將出流量換算成bit，即*8，計算結果給outbits 25 "COMMENT:\\r", #在網格下方輸出一個換行符 26 "COMMENT:\\r", 27 "GPRINT:inbits:AVERAGE:Avg In traffic\: %6.2lf %Sbps", #繪製入流量平均值 28 "COMMENT: ", 29 "GPRINT:inbits:MAX:Max In traffic\: %6.2lf %Sbps", #繪製入流量最大值 30 "COMMENT: ", 31 "GPRINT:inbits:MIN:MIN In traffic\: %6.2lf %Sbps\\r", #繪製入流量最小值 32 "COMMENT: ", 33 "GPRINT:outbits:AVERAGE:Avg Out traffic\: %6.2lf %Sbps", #繪製出流量平均值 34 "COMMENT: ", 35 "GPRINT:outbits:MAX:Max Out traffic\: %6.2lf %Sbps", #繪製出流量最大值 36 "COMMENT: ", 37 "GPRINT:outbits:MIN:MIN Out traffic\: %6.2lf %Sbps\\r") #繪製出流量最小值
以上程式碼將生成一個Flow.png檔案，如圖3-13所示。
檢視rrd檔案內容有利於觀察資料的結構、更新等情況，rrdtool提供幾個常用命令：
info檢視rrd檔案的結構資訊，如rrdtool info Flow.rrd；
first檢視rrd檔案第一個資料的更新時間，如rrdtool first Flow.rrd；
last檢視rrd檔案最近一次更新的時間，如rrdtool last Flow.rrd；
fetch根據指定時間、CF查詢rrd檔案，如rrdtool fetch Flow.rrd AVERAGE （必須為大寫）
參考資料：http://my.oschina.net/u/1458120/blog/208857 裡面有關於時間戳的相關資訊。