1. 程式人生 > >利用linux處理網路流量資料

利用linux處理網路流量資料

2009-01-15

#

周海漢/文 2009.1.15

ablozhou #gmail.com

網路壓力測試,需要處理原始資料,將原始的Byte/s 處理為Mbps,並通過直觀曲線圖表展示出來。

1.統計網絡卡流量

sar -n DEV 1 100 > net

得到網絡卡流量,原始資料如下:

10:32:41        IFACE   rxpck/s   txpck/s   rxbyt/s   txbyt/s   rxcmp/s   txcmp/s  rxmcst/s 10:32:42           lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:32:42         eth0      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:32:42         eth1      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:32:42         sit0      0.00      0.00      0.00      0.00      0.00      0.00      0.00

10:32:42        IFACE   rxpck/s   txpck/s   rxbyt/s   txbyt/s   rxcmp/s   txcmp/s  rxmcst/s 10:32:43           lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:32:43         eth0  79164.00  79161.00 8581912.00 8574255.00      0.00      0.00      0.00 10:32:43         eth1      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:32:43         sit0      0.00      0.00      0.00      0.00      0.00      0.00      0.00 … 10:34:19        IFACE   rxpck/s   txpck/s   rxbyt/s   txbyt/s   rxcmp/s   txcmp/s  rxmcst/s 10:34:20           lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:34:20         eth0      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:34:20         eth1      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:34:20         sit0      0.00      0.00      0.00      0.00      0.00      0.00      0.00

10:34:20        IFACE   rxpck/s   txpck/s   rxbyt/s   txbyt/s   rxcmp/s   txcmp/s  rxmcst/s 10:34:21           lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:34:21         eth0  79657.00  79657.00 8602734.00 8606166.00      0.00      0.00      0.00 10:34:21         eth1      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:34:21         sit0      0.00      0.00      0.00      0.00      0.00      0.00      0.00

Average:        IFACE   rxpck/s   txpck/s   rxbyt/s   txbyt/s   rxcmp/s   txcmp/s  rxmcst/s Average:           lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00 Average:         eth0  40091.69  40091.51 4329888.64 4331543.93      0.00      0.00      0.00 Average:         eth1      0.00      0.00      0.00      0.00      0.00      0.00      0.00 Average:         sit0      0.00      0.00      0.00      0.00      0.00      0.00      0.00

其中rxbyt/s 表示每秒接受的byte數,txbyt/s 表示每秒傳送的byte數。我們可以將其加工成Mbps

  1. 我們需要處理 eth0網絡卡的流量,將其餘流量去掉
cat net grep eth0 > net1

我們得到資料如下:

10:32:42         eth0      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:32:43         eth0  79164.00  79161.00 8581912.00 8574255.00      0.00      0.00      0.00 …

10:34:20         eth0      0.00      0.00      0.00      0.00      0.00      0.00      0.00 10:34:21         eth0  79657.00  79657.00 8602734.00 8606166.00      0.00      0.00      0.00 Average:         eth0  40091.69  40091.51 4329888.64 4331543.93      0.00      0.00      0.00

3.我們需要處理rxbyt/s ,txbyt/s 將其餘的列去掉

gawk ‘{print $5,$6}’ net1 > net2

gawk 命令的執行格式:

gawk  ‘模式匹配 命令語句 {動作}’ 處理檔案

我們這裡沒有模式匹配和語句,直接執行動作,列印第5第6列。

得到資料如下:

0.00 0.00 8581912.00 8574255.00 0.00 0.00 8723086.00 8726654.00 0.00 0.00 8718490.00 8721642.00 0.00 0.00 8558670.00 8562184.00 …

0.00 0.00 8602734.00 8606166.00 4329888.64 4331543.93

4.以上的資料,每行代表1秒,但網絡卡流量每2秒才能取到一次資料。所以是奇偶相間的資料。第0行開始的偶數行都是0. 我們將偶數行的 0 去掉。

這裡方法很多。

a.) sed -n ‘{n;p}’ net2 > net3

該命令表示用sed,隔一行列印一行。單引號裡大括號的n表示跳到下一行,分號分隔命令,p表示列印命令。 -n表示安靜模式,只打印輸出。否則會讀一行列印一行。

b.) gawk ‘$1 != 0.00 ‘ net2 > net3 gawk 可以帶if表示式,迴圈,功能很強。因為資料很有規律,我們可以偷點懶,直接將第一列是0.00的資料行刪掉。該命令表示第一列不等於0.00就打印出來。

5.將byte/s 處理為Mbps,並求2秒的均值。

gawk ‘a=$18/(210241024), b=$28/(210241024){print a,b}’ net3 > net4

將每一列的值*8,得到bit數,除以1M,得到Mbps,除以2得到均值,並賦給變數a,b。再打印出a和b的值。

6.將檔案處理為csv檔案,再通過excel程式來生成統計圖表

用vi將最後一行平均值去掉。並可以在vi中用:%s/ /,/g 將空格替換為逗號,:w net.csv

7.用winSCP將net.csv傳到windows,用excel 2007開啟。

選中這兩列資料,點插入,折線圖,得到如下的圖。可以調整一下標題和座標說明。

如非註明轉載, 均為原創. 本站遵循知識共享CC協議,轉載請註明來源