檢視、分析memcache使用狀態
先連線上memcache,假設memcache服務在本機上,並監聽在預設埠11211上。
telnet連線到memcached:
telnet 127.0.0.1 11211
訪問量上升,資料庫壓力大,怎麼辦?好辦法是在中間擋一層快取!這個快取要求高效,不能比資料庫慢,否則服務質量受影響;如果能把資料用hash打散儲存到硬碟,也是可以的,不過在記憶體越來越便宜的今天,還是使用記憶體吧!
mysql也有自己的快取,也是儲存在記憶體的,但是有一個說法是:
以下是引用片段: 只能有一個例項 只要有寫操作,mysql的query cache就失效 |
再說,如果mysql都抗不住了,怎麼還能指望它提供的快取呢?
所以我可以使用memcached了!他的好處和如何用可以參考:
以下是引用片段: |
開發時面對需求是個麻煩事,更漫長而鬧心的是維護,所以我更關心的是memcached執行中的情況。還好的是,memcached的作者給我們提供檢視執行情況的命令。主要是“stats”,使用方法為 “telnet ip 埠號”,登入後使用“stats”命令。
然後你可以看見很多內容,具體可以參考:《memcacche stats》
以下是引用片段: pid = process id curr_connections = total number of open connections to memcached connection_structures = ??? cmd_get = total GET commands issued to the server cmd_set = total SET commands issued to the server get_hits = total number of times a GET command was able to retrieve and return data get_misses = total number of times a GET command was unable to retrieve and return data bytes_read = total number of bytes input into the server bytes_written = total number of bytes written by the server limit_maxbytes = total storage bytes available to the server. |
著重說一下幾個對觀測很有用的項。
limit_maxbytes、bytes
memcached在儲存的時候是可以設定失效時間的,但如果儲存已經滿了,那舊資料即使沒有到過期時間,也會被移除。所以需要觀察memcached儲存是否已經滿了,同時這對擴容也是有意義的參考。limit_maxbytes即總的儲存大小,而bytes就是已經使用的大小,從這兩個資料就可以看出在memcached啟動時,我們為它分配的記憶體是否足夠使用。
cmd_get、cmd_set
memcached啟動後,我們對它一共做了多少次讀取操作呢?從這兩個引數可以觀察出來。
get_hits、get_misses
使用memcached後,我們需要評估我們使用的策略是否合理。不能夠使用中間快取後,後端的資料庫還是有較大的訪問量,這樣的話中間快取就變得沒有意義了。get_hits表示命中了多少次讀取,即來memcached取到了多少有效資料;get_misses表示沒有命中的次數,即此次來取資料的時候,memcached並沒有你所查詢的資料。如果沒有清零統計資料的話,cmd_get = get_hits + get_misses。
memcached 的狀態查詢還有其它的命令,可以參考:《Memcached的stats命令》
如下:
stats reset
清空統計資料
stats malloc
顯示記憶體分配資料
stats maps
這個不太確定,看原始碼是把/proc/self/maps的資料顯示出來。
stats cachedump slab_id limit_num
顯示某個slab中的前limit_num個key列表,顯示格式如下
ITEM key_name [ value_length b; expire_time|access_time s]
其中,memcached 1.2.2及以前版本顯示的是 訪問時間(timestamp)
1.2.4以上版本,包括1.2.4顯示 過期時間(timestamp)
如果是永不過期的key,expire_time會顯示為伺服器啟動的時間
stats cachedump 7 2
ITEM copy_test1 [250 b; 1207795754 s]
ITEM copy_test [248 b; 1207793649 s]
stats slabs
顯示各個slab的資訊,包括chunk的大小、數目、使用情況等
stats items
顯示各個slab中item的數目和最老item的年齡(最後一次訪問距離現在的秒數)
stats detail [on|off|dump]
設定或者顯示詳細操作記錄
引數為on,開啟詳細操作記錄
引數為off,關閉詳細操作記錄
引數為dump,顯示詳細操作記錄(每一個鍵值get、set、hit、del的次數)
stats detail dump
PREFIX copy_test2 get 1 hit 1 set 0 del 0
PREFIX copy_test1 get 1 hit 1 set 0 del 0
PREFIX cpy get 1 hit 0 set 0 del 0
memcached資料儲存和取回相關的基本命令只有4條。
下面將採用telnet與memcached進行互動,並介紹這4條基本命令。
假設memcached伺服器在本機上,並監聽在預設埠11211上。
telnet連線到memcached:
telnet 127.0.0.1 11211
SET:新增一個新的條目到memcached,或是用新的資料替換掉已存在的條目
set test1 0 0 10
testing001
STORED
ADD:僅當key不存在的情況下儲存資料。如果一個key已經存在,將得到NOT_STORED的響應
add test1 0 0 10
testing002
NOT_STORED
add test2 0 0 10
testing002
STORED
REPLACE:僅當key已經存在的情況下儲存資料。如果一個key不存在,將得到NOT_STORED的響應
replace test1 0 0 10
testing003
STORED
replace test3 0 0 10
testing003
NOT_STORED
GET:從memcached中返回資料。從快取中返回資料時,將在第一行得到key的名字,flag的值和返回的value的長度。真正的資料在第二行,最後返回END。如果key並不存在,那麼在第一行就直接返回END。
get test1
VALUE test1 0 10
testing003
END
get test4
END
get test1 test2
VALUE test1 0 10
testing003
END
注:像上面那樣你可以在一個請求中包含多個由空格分開的key。當請求多個key時,將只會得到那些有儲存資料的key的響應。memcached將不會響應沒有儲存Data的key。
###################################################################
1、啟動Memcache 常用引數
memcached 1.4.3
-p <num> 設定埠號(預設不設定為: 11211)
-U <num> UDP監聽埠 (預設: 11211, 0 時關閉)
-l <ip_addr> 繫結地址 (預設:所有都允許,無論內外網或者本機更換IP,有安全隱患,若設定為127.0.0.1就只能本機訪問)
-d 獨立程序執行
-u <username> 繫結使用指定用於執行程序 <username>
-m <num> 允許最大記憶體用量,單位M (預設: 64 MB)
-P <file> 將PID寫入檔案<file>,這樣可以使得後邊進行快速程序終止, 需要與 -d 一起使用
如:
在linux下:./usr/local/bin/memcached -d -u jb-mc -l 192.168.1.197 -m 2048 -p 12121
在window下:d:\App_Serv\memcached\memcached.exe -d RunService -l 127.0.0.1 -p 11211 -m 500
在windows下注冊為服務後執行:
sc.exe create jb-Memcached binpath= “d:\App_Serv\memcached\memcached.exe -d RunService -p 11211 -m 500″ start= auto
net start jb-Memcached
2、連線:telnet 127.0.0.1 11211
不要說不會用這個?
3、寫入memcache
<command name> <key> <flags> <exptime> <bytes>\r\n <data block>\r\n
a) <command name> 可以是”set”, “add”, “replace”。
“set”表示按照相應的<key>儲存該資料,沒有的時候增加,有的覆蓋。
“add”表示按照相應的<key>新增該資料,但是如果該<key>已經存在則會操作失敗。
“replace”表示按照相應的<key>替換資料,但是如果該<key>不存在則操作失敗
b) <key> 客戶端需要儲存資料的key。
c) <flags> 是一個16位的無符號的整數(以十進位制的方式表示)。
該標誌將和需要儲存的資料一起儲存,並在客戶端get資料時返回。
客戶可以將此標誌用做特殊用途,此標誌對伺服器來說是不透明的。
d) <exptime> 過期的時間。
若為0表示儲存的資料永遠不過時(但可被伺服器演算法:LRU 等替換)。
如果非0(unix時間或者距離此時的秒數),當過期後,伺服器可以保證使用者得不到該資料(以伺服器時間為標準)。
e) <bytes> 需要儲存的位元組數(不包含最後的”\r\n”),當用戶希望儲存空資料時,<bytes>可以為0
f) 最後客戶端需要加上”\r\n”作為”命令頭”的結束標誌。
<data block>\r\n
緊接著”命令頭”結束之後就要傳送資料塊(即希望儲存的資料內容),最後加上”\r\n”作為此次通訊的結束。
結果響應:reply
當以上資料傳送結束之後,伺服器將返回一個應答。可能有如下的情況:
a) “STORED\r\n”:表示儲存成功
b) “NOT_STORED\r\n” : 表示儲存失敗,但是該失敗不是由於錯誤。
通常這是由於”add”或者”replace”命令本身的要求所引起的,或者該項在刪除佇列之中。
如: set key 33 0 4\r\n
ffff\r\n
4、獲取/檢查KeyValue
get <key>*\r\n
a) <key>* 表示一個或者多個key(以空格分開)
b) “\r\n” 命令頭的結束
結果響應:reply
伺服器端將返回0個或者多個的資料項。每個資料項都是由一個文字行和一個數據塊組成。當所有的資料項都接收完畢將收到”END\r\n”
每一項的資料結構:
VALUE <key> <flags> <bytes>\r\n
<data block>\r\n
a) <key> 希望得到儲存資料的key
b) <falg> 傳送set命令時設定的標誌項
c) <bytes> 傳送資料塊的長度(不包含”\r\n”)
d) “\r\n” 文字行的結束標誌
e) <data block> 希望接收的資料項。
f) “\r\n” 接收一個數據項的結束標誌。
如果有些key出現在get命令列中但是沒有返回相應的資料,這意味著伺服器中不存在這些項,這些項過時了,或者被刪除了
如:get aa
VALUE aa 33 4
ffff
END
5、刪除KeyValue:
delete <key> <time>\r\n
a) <key> 需要被刪除資料的key
b) <time> 客戶端希望伺服器將該資料刪除的時間(unix時間或者從現在開始的秒數)
c) “\r\n” 命令頭的結束
6、檢查Memcache伺服器狀態:
stats\r\n
在這裡可以看到memcache的獲取次數,當前連線數,寫入次數,已經命中率等;
pid : 程序id
uptime :總的執行時間,秒數
time : 當前時間
version : 版本號
……
curr_items : 當前快取中的KeyValue數量
total_items : 曾經總共經過快取的KeyValue數量
bytes : 所有的快取使用的記憶體量
curr_connections 當前連線數
….
cmd_get : 總獲取次數
cmd_set : 總的寫入次數
get_hits : 總的命中次數
miss_hits : 獲取失敗次數
…..
bytes_read : 總共讀取的流量位元組數
bytes_written : 總的寫入流量位元組
limit_maxbytes : 最大允許使用的記憶體量,位元組
7、高階快取細節檢視方法:
stats reset
清空統計資料
stats malloc
顯示記憶體分配資料
stats cachedump slab_id limit_num
顯示某個slab中的前limit_num個key列表,顯示格式如下
ITEM key_name [ value_length b; expire_time|access_time s]
其中,memcached 1.2.2及以前版本顯示的是 訪問時間(timestamp)
1.2.4以上版本,包括1.2.4顯示 過期時間(timestamp)
如果是永不過期的key,expire_time會顯示為伺服器啟動的時間
stats cachedump 7 2
ITEM copy_test1 [250 b; 1207795754 s]
ITEM copy_test [248 b; 1207793649 s]
stats slabs
顯示各個slab的資訊,包括chunk的大小、數目、使用情況等
stats items
顯示各個slab中item的數目和最老item的年齡(最後一次訪問距離現在的秒數)
stats detail [on|off|dump]
設定或者顯示詳細操作記錄
引數為on,開啟詳細操作記錄
引數為off,關閉詳細操作記錄
引數為dump,顯示詳細操作記錄(每一個鍵值get、set、hit、del的次數)
8、清空所有鍵值
flush_all
注:flush並不會將items刪除,只是將所有的items標記為expired,因此這時memcache依舊佔用所有記憶體。
8、退出
quit\r\n
轉載地址:http://www.blogjava.net/hao446tian/archive/2012/04/11/373773.html