1. 程式人生 > >檢視、分析memcache使用狀態

檢視、分析memcache使用狀態

先連線上memcache,假設memcache服務在本機上,並監聽在預設埠11211上。

telnet連線到memcached:
telnet 127.0.0.1 11211

 

訪問量上升,資料庫壓力大,怎麼辦?好辦法是在中間擋一層快取!這個快取要求高效,不能比資料庫慢,否則服務質量受影響;如果能把資料用hash打散儲存到硬碟,也是可以的,不過在記憶體越來越便宜的今天,還是使用記憶體吧!

    mysql也有自己的快取,也是儲存在記憶體的,但是有一個說法是:

以下是引用片段:

只能有一個例項
意味著你能儲存內容的上限就是你伺服器的可用記憶體,一臺伺服器能有多少記憶體?你又能存多少呢?

只要有寫操作,mysql的query cache就失效
只要資料庫內容稍有改變,那怕改變的是其他行,mysql的query cache也會失效

    再說,如果mysql都抗不住了,怎麼還能指望它提供的快取呢?

    所以我可以使用memcached了!他的好處和如何用可以參考:

以下是引用片段:

1:《Memcache和mysql互動流程操作原理

2:《讓memcached和mysql更好的工作

    開發時面對需求是個麻煩事,更漫長而鬧心的是維護,所以我更關心的是memcached執行中的情況。還好的是,memcached的作者給我們提供檢視執行情況的命令。主要是“stats”,使用方法為 “telnet ip 埠號”,登入後使用“stats”命令。

    然後你可以看見很多內容,具體可以參考:《memcacche stats

以下是引用片段:

pid = process id
uptime = number of seconds since the process was started
time = current time
version = memcached version
rusage_user = seconds the cpu has devoted to the process as the user
rusage_system = seconds the cpu has devoted to the process as the system
curr_items = total number of items currently in memcache
total_items = total number of items that have passed through the cache
bytes = total number of bytes currently in use by curr_items


curr_connections = total number of open connections to memcached
connection_structures = ???
cmd_get = total GET commands issued to the server
cmd_set = total SET commands issued to the server
get_hits = total number of times a GET command was able to retrieve and
return data
get_misses = total number of times a GET command was unable to retrieve and
return data
bytes_read = total number of bytes input into the server
bytes_written = total number of bytes written by the server
limit_maxbytes = total storage bytes available to the server.

    著重說一下幾個對觀測很有用的項。

    limit_maxbytes、bytes

    memcached在儲存的時候是可以設定失效時間的,但如果儲存已經滿了,那舊資料即使沒有到過期時間,也會被移除。所以需要觀察memcached儲存是否已經滿了,同時這對擴容也是有意義的參考。limit_maxbytes即總的儲存大小,而bytes就是已經使用的大小,從這兩個資料就可以看出在memcached啟動時,我們為它分配的記憶體是否足夠使用。

    cmd_get、cmd_set

    memcached啟動後,我們對它一共做了多少次讀取操作呢?從這兩個引數可以觀察出來。

    get_hits、get_misses

    使用memcached後,我們需要評估我們使用的策略是否合理。不能夠使用中間快取後,後端的資料庫還是有較大的訪問量,這樣的話中間快取就變得沒有意義了。get_hits表示命中了多少次讀取,即來memcached取到了多少有效資料;get_misses表示沒有命中的次數,即此次來取資料的時候,memcached並沒有你所查詢的資料。如果沒有清零統計資料的話,cmd_get = get_hits + get_misses。

    memcached 的狀態查詢還有其它的命令,可以參考:《Memcached的stats命令

    如下:

stats reset
清空統計資料

stats malloc
顯示記憶體分配資料

stats maps
這個不太確定,看原始碼是把/proc/self/maps的資料顯示出來。

stats cachedump slab_id limit_num
顯示某個slab中的前limit_num個key列表,顯示格式如下
ITEM key_name [ value_length b; expire_time|access_time s]
其中,memcached 1.2.2及以前版本顯示的是  訪問時間(timestamp)
1.2.4以上版本,包括1.2.4顯示 過期時間(timestamp)
如果是永不過期的key,expire_time會顯示為伺服器啟動的時間

stats cachedump 7 2
ITEM copy_test1 [250 b; 1207795754 s]
ITEM copy_test [248 b; 1207793649 s]

stats slabs
顯示各個slab的資訊,包括chunk的大小、數目、使用情況等

stats items
顯示各個slab中item的數目和最老item的年齡(最後一次訪問距離現在的秒數)

stats detail [on|off|dump]
設定或者顯示詳細操作記錄

引數為on,開啟詳細操作記錄
引數為off,關閉詳細操作記錄
引數為dump,顯示詳細操作記錄(每一個鍵值get、set、hit、del的次數)

stats detail dump
PREFIX copy_test2 get 1 hit 1 set 0 del 0
PREFIX copy_test1 get 1 hit 1 set 0 del 0
PREFIX cpy get 1 hit 0 set 0 del 0

memcached資料儲存和取回相關的基本命令只有4條。
下面將採用telnet與memcached進行互動,並介紹這4條基本命令。
假設memcached伺服器在本機上,並監聽在預設埠11211上。

telnet連線到memcached:
telnet 127.0.0.1 11211

SET:新增一個新的條目到memcached,或是用新的資料替換掉已存在的條目

set test1 0 0 10
testing001
STORED

ADD:僅當key不存在的情況下儲存資料。如果一個key已經存在,將得到NOT_STORED的響應

add test1 0 0 10
testing002
NOT_STORED
add test2 0 0 10
testing002
STORED

REPLACE:僅當key已經存在的情況下儲存資料。如果一個key不存在,將得到NOT_STORED的響應

replace test1 0 0 10
testing003
STORED
replace test3 0 0 10
testing003
NOT_STORED

GET:從memcached中返回資料。從快取中返回資料時,將在第一行得到key的名字,flag的值和返回的value的長度。真正的資料在第二行,最後返回END。如果key並不存在,那麼在第一行就直接返回END。

get test1
VALUE test1 0 10
testing003
END
get test4
END
get test1 test2
VALUE test1 0 10
testing003
END

注:像上面那樣你可以在一個請求中包含多個由空格分開的key。當請求多個key時,將只會得到那些有儲存資料的key的響應。memcached將不會響應沒有儲存Data的key。

###################################################################

1、啟動Memcache 常用引數
memcached 1.4.3
-p <num>      設定埠號(預設不設定為: 11211)
-U <num>      UDP監聽埠 (預設: 11211, 0 時關閉)  
-l <ip_addr>  繫結地址 (預設:所有都允許,無論內外網或者本機更換IP,有安全隱患,若設定為127.0.0.1就只能本機訪問)
-d            獨立程序執行
-u <username> 繫結使用指定用於執行程序 <username>
-m <num>      允許最大記憶體用量,單位M (預設: 64 MB)
-P <file>     將PID寫入檔案<file>,這樣可以使得後邊進行快速程序終止, 需要與 -d 一起使用
如:
在linux下:./usr/local/bin/memcached -d -u jb-mc -l 192.168.1.197 -m 2048 -p 12121
在window下:d:\App_Serv\memcached\memcached.exe -d RunService -l 127.0.0.1 -p 11211 -m 500
在windows下注冊為服務後執行:
sc.exe create jb-Memcached binpath= “d:\App_Serv\memcached\memcached.exe -d RunService -p 11211 -m 500″ start= auto
net start jb-Memcached

2、連線:telnet 127.0.0.1 11211
不要說不會用這個?

3、寫入memcache
<command name> <key> <flags> <exptime> <bytes>\r\n <data block>\r\n
a) <command name> 可以是”set”, “add”, “replace”。
“set”表示按照相應的<key>儲存該資料,沒有的時候增加,有的覆蓋。
“add”表示按照相應的<key>新增該資料,但是如果該<key>已經存在則會操作失敗。
“replace”表示按照相應的<key>替換資料,但是如果該<key>不存在則操作失敗

b) <key> 客戶端需要儲存資料的key。

c) <flags> 是一個16位的無符號的整數(以十進位制的方式表示)。
該標誌將和需要儲存的資料一起儲存,並在客戶端get資料時返回。
客戶可以將此標誌用做特殊用途,此標誌對伺服器來說是不透明的。

d) <exptime> 過期的時間。
若為0表示儲存的資料永遠不過時(但可被伺服器演算法:LRU 等替換)。
如果非0(unix時間或者距離此時的秒數),當過期後,伺服器可以保證使用者得不到該資料(以伺服器時間為標準)。

e) <bytes> 需要儲存的位元組數(不包含最後的”\r\n”),當用戶希望儲存空資料時,<bytes>可以為0

f) 最後客戶端需要加上”\r\n”作為”命令頭”的結束標誌。
<data block>\r\n

緊接著”命令頭”結束之後就要傳送資料塊(即希望儲存的資料內容),最後加上”\r\n”作為此次通訊的結束。

結果響應:reply
當以上資料傳送結束之後,伺服器將返回一個應答。可能有如下的情況:

a) “STORED\r\n”:表示儲存成功
b) “NOT_STORED\r\n” : 表示儲存失敗,但是該失敗不是由於錯誤。
通常這是由於”add”或者”replace”命令本身的要求所引起的,或者該項在刪除佇列之中。

如: set key 33 0 4\r\n
ffff\r\n

4、獲取/檢查KeyValue
get <key>*\r\n
a) <key>* 表示一個或者多個key(以空格分開)
b) “\r\n” 命令頭的結束

結果響應:reply
伺服器端將返回0個或者多個的資料項。每個資料項都是由一個文字行和一個數據塊組成。當所有的資料項都接收完畢將收到”END\r\n”
每一項的資料結構:
VALUE <key> <flags> <bytes>\r\n
<data block>\r\n

a) <key> 希望得到儲存資料的key
b) <falg> 傳送set命令時設定的標誌項
c) <bytes> 傳送資料塊的長度(不包含”\r\n”)
d) “\r\n” 文字行的結束標誌
e) <data block> 希望接收的資料項。
f) “\r\n” 接收一個數據項的結束標誌。

如果有些key出現在get命令列中但是沒有返回相應的資料,這意味著伺服器中不存在這些項,這些項過時了,或者被刪除了
如:get aa
VALUE aa 33 4
ffff
END

5、刪除KeyValue:
delete <key> <time>\r\n

a) <key> 需要被刪除資料的key
b) <time> 客戶端希望伺服器將該資料刪除的時間(unix時間或者從現在開始的秒數)
c) “\r\n” 命令頭的結束

6、檢查Memcache伺服器狀態:
stats\r\n
在這裡可以看到memcache的獲取次數,當前連線數,寫入次數,已經命中率等;

pid : 程序id
uptime :總的執行時間,秒數
time : 當前時間
version : 版本號
……
curr_items : 當前快取中的KeyValue數量
total_items : 曾經總共經過快取的KeyValue數量
bytes : 所有的快取使用的記憶體量
curr_connections 當前連線數
….
cmd_get : 總獲取次數
cmd_set : 總的寫入次數
get_hits : 總的命中次數
miss_hits :  獲取失敗次數
…..
bytes_read : 總共讀取的流量位元組數
bytes_written : 總的寫入流量位元組
limit_maxbytes : 最大允許使用的記憶體量,位元組

7、高階快取細節檢視方法:
stats reset
清空統計資料

stats malloc
顯示記憶體分配資料

stats cachedump slab_id limit_num
顯示某個slab中的前limit_num個key列表,顯示格式如下
ITEM key_name [ value_length b; expire_time|access_time s]
其中,memcached 1.2.2及以前版本顯示的是  訪問時間(timestamp)
1.2.4以上版本,包括1.2.4顯示 過期時間(timestamp)
如果是永不過期的key,expire_time會顯示為伺服器啟動的時間

stats cachedump 7 2
ITEM copy_test1 [250 b; 1207795754 s]
ITEM copy_test [248 b; 1207793649 s]

stats slabs
顯示各個slab的資訊,包括chunk的大小、數目、使用情況等

stats items
顯示各個slab中item的數目和最老item的年齡(最後一次訪問距離現在的秒數)

stats detail [on|off|dump]
設定或者顯示詳細操作記錄

引數為on,開啟詳細操作記錄
引數為off,關閉詳細操作記錄
引數為dump,顯示詳細操作記錄(每一個鍵值get、set、hit、del的次數)

8、清空所有鍵值
flush_all
注:flush並不會將items刪除,只是將所有的items標記為expired,因此這時memcache依舊佔用所有記憶體。

8、退出

quit\r\n

 

轉載地址:http://www.blogjava.net/hao446tian/archive/2012/04/11/373773.html