1. 程式人生 > 其它 >Python之旅4:酷狗音樂初次爬蟲音樂播放連線,儲存在MySQL資料庫

Python之旅4:酷狗音樂初次爬蟲音樂播放連線,儲存在MySQL資料庫

監控指標

  • 效能指標: Performance
  • 記憶體指標: Memory
  • 基本活動指標:Basic activity
  • 永續性指標: Persistence
  • 錯誤指標: Error

效能指標:Performance

| Name| Description
| -------- | -------- | -------- |
| latency |Redis響應一個請求的時間
| instantaneous_ops_per_sec|平均每秒處理請求總數
|hi rate(calculated)|快取命中率(計算出來的)

記憶體指標: Memory

| Name| Description
| -------- | -------- | -------- |
|used_memory|已使用記憶體
|mem_fragmentation_ratio|記憶體碎片率
|evicted_keys|由於最大記憶體限制被移除的key的數量
|blocked_clients|由於BLPOP,BRPOP,or BRPOPLPUSH而備阻塞的客戶端

基本活動指標:Basic activity

| Name| Description
| -------- | -------- | -------- |
|connected_clients|客戶端連線數
|conected_laves|slave數量
|master_last_io_seconds_ago|最近一次主從互動之後的秒數
|keyspace|資料庫中的key值總數

永續性指標: Persistence

| Name| Description
| -------- | -------- | -------- |
| rdb_last_save_time|最後一次持久化儲存磁碟的時間戳
| rdb_changes_sice_last_save|自最後一次持久化以來資料庫的更改數

錯誤指標: Error

| Name| Description
| -------- | -------- | -------- |
|rejected_connections|由於達到maxclient限制而被拒絕的連線數
| keyspace_misses|key值查詢失敗(沒有命中)次數
|master_link_down_since_seconds| 主從斷開的持續時間(以秒為單位)

監控方式
redis-benchmark
redis-stat
redis-faina
redislive
redis-cli

  • monitor
  • showlog
    1)get:獲取慢查詢日誌
    2)len:獲取慢查詢日誌條目數
    3)reset:重置慢查詢日誌
    相關配置:
    slowlog-log-slower-than 1000 # 設定慢查詢的時間下線,單位:微秒
    slowlog-max-len 100 # 設定慢查詢命令對應的日誌顯示長度,單位:命令數
  • info(可以一次性獲取所有的資訊,也可以按塊獲取資訊)
    1)server:伺服器執行的環境引數
    2)clients:客戶端相關資訊
    3)memory:伺服器執行記憶體統計資料
    4)persistence:持久化資訊
    5)stats:通用統計資料
    6)Replication:主從複製相關資訊
    7)CPU:CPU使用情況
    8)cluster:叢集資訊
    9)Keypass:鍵值對統計數量資訊

終端info命令使用
./redis-cli info 按塊獲取資訊 | grep 需要過濾的引數
./redis-cli info stats | grep ops

互動式info命令使用

 #./redis-cli 
> info server

效能監控:

redis-cli info | grep ops # 每秒運算元


記憶體監控:

[root@CombCloud-2020110836 src]# ./redis-cli info | grep used | grep human       
used_memory_human:2.99M  # 記憶體分配器從作業系統分配的記憶體總量
used_memory_rss_human:8.04M  #作業系統看到的記憶體佔用,top命令看到的記憶體
used_memory_peak_human:7.77M # redis記憶體消耗的峰值
used_memory_lua_human:37.00K   # lua指令碼引擎佔用的記憶體大小

由於BLPOP,BRPOP,or BRPOPLPUSH而備阻塞的客戶端

[root@CombCloud-2020110836 src]# ./redis-cli info | grep blocked_clients
blocked_clients:0  

由於最大記憶體限制被移除的key的數量

[root@CombCloud-2020110836 src]# ./redis-cli info | grep evicted_keys
evicted_keys:0  #

記憶體碎片率

[root@CombCloud-2020110836 src]# ./redis-cli info | grep mem_fragmentation_ratio
mem_fragmentation_ratio:2.74 

已使用記憶體

[root@CombCloud-2020110836 src]# ./redis-cli info | grep used_memory:
used_memory:3133624  

基本活動指標:
redis連線了多少客戶端
通過觀察其數量可以確認是否存在意料之外的連線。如果發現數量不對勁,就可以使用lcient list指令列出所有的客戶端連結地址來確定源頭。

[root@CombCloud-2020110836 src]# ./redis-cli info | grep connected_clients
connected_clients:1
[root@CombCloud-2020110836 src]# ./redis-cli info | grep connected
connected_clients:1   # 客戶端連線數量
connected_slaves:1   # slave連線數量

永續性指標:

[root@CombCloud-2020110836 src]# ./redis-cli info | grep rdb_last_save_time
rdb_last_save_time:1591876204  # 最後一次持久化儲存磁碟的時間戳
[root@CombCloud-2020110836 src]# ./redis-cli info | grep rdb_changes_since_last_save
rdb_changes_since_last_save:0   # 自最後一次持久化以來資料庫的更改數 

錯誤指標
由於超出最大連線數限制而被拒絕的客戶端連線次數,如果這個數字很大,則意味著伺服器的最大連線數設定得過低,需要調整maxclients

[root@CombCloud-2020110836 src]# ./redis-cli info | grep connected_clients
connected_clients:1

key值查詢失敗(沒有命中)次數,出現多次可能是被hei ke gongjji

[root@CombCloud-2020110836 src]# ./redis-cli info | grep keyspace
keyspace_misses:0  

主從斷開的持續時間(以秒為單位)

[root@CombCloud-2020110836 src]# ./redis-cli info | grep rdb_changes_since_last_save
rdb_changes_since_last_save:0  

複製積壓緩衝區如果設定得太小,會導致裡面的指令被覆蓋掉找不到偏移量,從而觸發全量同步

[root@CombCloud-2020110836 src]# ./redis-cli info | grep backlog_size
repl_backlog_size:1048576

通過檢視sync_partial_err變數的次數來決定是否需要擴大積壓緩衝區,它表示主從半同步複製失敗的次數

[root@CombCloud-2020110836 src]# ./redis-cli info | grep sync_partial_err
sync_partial_err:1

redis效能測試命令
./redis-benchmark -c 100 -n 5000
說明:100個連線,5000次請求對應的效能

轉自https://blog.51cto.com/yht1990/2503819