1. 程式人生 > 其它 >記錄Elasticsearch 分片恢復問題

記錄Elasticsearch 分片恢復問題

Redis是什麼

Redis is an open source, BSD licensed, advanced key-value store。 It is often referred to as a data structure server since keys can contain strings, hashes, lists, sets and sorted sets。 Redis是開源,BSD許可,高階的key-value儲存系統。 可以用來儲存字串,雜湊結構,連結串列,集合,因此,常用來提供資料結構服務。

Redis和Memcached相比,的獨特之處:

  • 1: Redis可以用來做儲存(storage), 而Memcached是用來做快取(cache),這個特點主要因為其有“持久化”的功能。
  • 2: 儲存的資料有“結構”,對於Memcached來說,儲存的資料,只有1種類型--”字串”,
    而Redis則可以儲存字串,連結串列,雜湊結構,集合,有序集合。

Redis下載安裝

  • 1: 官方站點: Redis。io 下載最新版或者最新stable版
  • 2: 解壓原始碼並進入目錄
  • 3: 不用configure
  • 4: 直接make (如果是32位機器 make 32bit)

注:易碰到的問題,時間錯誤。
原因: 原始碼是官方configure過的,但官方configure時,生成的檔案有時間戳資訊,
Make只能發生在configure之後,
如果你的虛擬機器的時間不對,比如說是2012年

    //解決方案: 
    date -s ‘yyyy-mm-dd hh:mm:ss’   //重寫時間
    clock -w  //寫入cmos

5: 可選步驟: make test 測試編譯情況
(可能出現: need tcl >8。4這種情況, yum install tcl)

6: 安裝到指定的目錄,比如 /usr/local/Redis
make PREFIX=/usr/local/Redis install
注: PREFIX要大寫

7: make install之後,得到如下幾個檔案
Redis-benchmark 效能測試工具
Redis-check-aof 日誌檔案檢測工(比如斷電造成日誌損壞,可以檢測並修復)
Redis-check-dump 快照檔案檢測工具,效果類上
Redis-cli 客戶端
Redis-server 服務端

8: 複製配置檔案
Cp /path/Redis。conf /usr/local/Redis

9: 啟動與連線
/path/to/Redis/bin/Redis-server 。/path/to/conf-file
例:[root@localhost Redis]# 。/bin/Redis-server 。/Redis。conf

連線: 用Redis-cli

/path/to/Redis/bin/Redis-cli [-h localhost -p 6379 ]

10: 讓Redis以後臺程序的形式執行
編輯conf配置檔案,修改如下內容;
daemonize yes

Redis對於key的操作命令

del key1 key2 。。。 Keyn
作用: 刪除1個或多個鍵
返回值: 不存在的key忽略掉,返回真正刪除的key的數量

rename key newkey
作用: 給key賦一個新的key名
注:如果newkey已存在,則newkey的原值被覆蓋

renamenx key newkey
作用: 把key改名為newkey
返回: 發生修改返回1,未發生修改返回0
注: nx--> not exists, 即, newkey不存在時,作改名動作

move key db
Redis 127。0。0。1:6379[1]> select 2
OK
Redis 127。0。0。1:6379[2]> keys *
(empty list or set)
Redis 127。0。0。1:6379[2]> select 0
OK
Redis 127。0。0。1:6379> keys *

  1. "name"
  2. "cc"
  3. "a"
  4. "b"
    Redis 127。0。0。1:6379> move cc 2
    (integer) 1
    Redis 127。0。0。1:6379> select 2
    OK
    Redis 127。0。0。1:6379[2]> keys *
  5. "cc"
    Redis 127。0。0。1:6379[2]> get cc
    "3"

(注意: 一個Redis程序,打開了不止一個數據庫, 預設開啟16個數據庫,從0到15編號,
如果想開啟更多資料庫,可以從配置檔案修改)

keys pattern 查詢相應的key
在Redis裡,允許模糊查詢key
有3個萬用字元 *, ? ,[]
: 通配任意多個字元
?: 通配單個字元
[]: 通配括號內的某1個字元
Redis 127。0。0。1:6379> flushdb
OK
Redis 127。0。0。1:6379> keys *
(empty list or set)
Redis 127。0。0。1:6379> mset one 1 two 2 three 3 four 4
OK
Redis 127。0。0。1:6379> keys o

  1. "one"
    Redis 127。0。0。1:6379> key *o
    (error) ERR unknown command 'key'
    Redis 127。0。0。1:6379> keys *o
  2. "two"
    Redis 127。0。0。1:6379> keys ???
  3. "one"
  4. "two"
    Redis 127。0。0。1:6379> keys on?
  5. "one"
    Redis 127。0。0。1:6379> set ons yes
    OK
    Redis 127。0。0。1:6379> keys on[eaw]
    "one"

randomkey 返回隨機key

exists key
判斷key是否存在,返回1/0

type key
返回key儲存的值的型別
有string,link,set,order set, hash

ttl key
作用: 查詢key的生命週期
返回: 秒數

注:對於不存在的key或已過期的key/不過期的key,都返回-1
Redis2。8中,對於不存在的key,返回-2

expire key 整型值
作用: 設定key的生命週期,以秒為單位

同理:
pexpire key 毫秒數, 設定生命週期
pttl key, 以毫秒返回生命週期

persist key
作用: 把指定key置為永久有效

Redis字串型別的操作

set key value [ex 秒數] / [px 毫秒數] [nx] /[xx]

如: set a 1 ex 10 , 10秒有效
Set a 1 px 9000 , 9秒有效
注: 如果ex,px同時寫,以後面的有效期為準
如 set a 1 ex 100 px 9000, 實際有效期是9000毫秒

nx: 表示key不存在時,執行操作
xx: 表示key存在時,執行操作

mset multi set , 一次性設定多個鍵值
例: mset key1 v1 key2 v2 。。。。

get key
作用:獲取key的值

mget key1 key2 。。keyn
作用:獲取多個key的值

setrange key offset value
作用:把字串的offset偏移位元組,改成value
Redis 127。0。0。1:6379> set greet hello
OK
Redis 127。0。0。1:6379> setrange greet 2 x
(integer) 5
Redis 127。0。0。1:6379> get greet
"hexlo"

注意: 如果偏移量>字元長度, 該字元自動補0x00

Redis 127。0。0。1:6379> setrange greet 6 !
(integer) 7
Redis 127。0。0。1:6379> get greet
"heyyo\x00!"

append key value
作用: 把value追加到key的原值上

getrange key start stop
作用: 是獲取字串中 [start, stop]範圍的值
注意: 對於字串的下標,左數從0開始,右數從-1開始
Redis 127。0。0。1:6379> set title 'chinese'
OK
Redis 127。0。0。1:6379> getrange title 0 3
"chin"
Redis 127。0。0。1:6379> getrange title 1 -2
"hines"

注意:
1: start>=length, 則返回空字串
2: stop>=length,則擷取至字元結尾
3: 如果start 所處位置在stop右邊, 返回空字串

getset key newvalue
作用: 獲取並返回舊值,設定新值
Redis 127。0。0。1:6379> set cnt 0
OK
Redis 127。0。0。1:6379> getset cnt 1
"0"
Redis 127。0。0。1:6379> getset cnt 2
"1"

incr key
作用: 指定的key的值加1,並返回加1後的值

注意:
1:不存在的key當成0,再incr操作
2: 範圍為64有符號

incrby key number
Redis 127。0。0。1:6379> incrby age 90
(integer) 92

incrbyfloat key floatnumber
Redis 127。0。0。1:6379> incrbyfloat age 3。5
"95。5"

decr key
Redis 127。0。0。1:6379> set age 20
OK
Redis 127。0。0。1:6379> decr age
(integer) 19

decrby key number
Redis 127。0。0。1:6379> decrby age 3
(integer) 16

getbit key offset
作用:獲取值的二進位制表示,對應位上的值(從左,從0編號)
Redis 127。0。0。1:6379> set char A
OK
Redis 127。0。0。1:6379> getbit char 1
(integer) 1
Redis 127。0。0。1:6379> getbit char 2
(integer) 0
Redis 127。0。0。1:6379> getbit char 7
(integer) 1

setbit key offset value
設定offset對應二進位制位上的值
返回: 該位上的舊值

注意:
1:如果offset過大,則會在中間填充0,
2: offset最大大到多少
3:offset最大2^32-1,可推出最大的的字串為512M

bitop operation destkey key1 [key2 。。。]

對key1,key2。。keyN作operation,並將結果儲存到 destkey 上。
operation 可以是 AND 、 OR 、 NOT 、 XOR

Redis 127。0。0。1:6379> setbit lower 7 0
(integer) 0
Redis 127。0。0。1:6379> setbit lower 2 1
(integer) 0
Redis 127。0。0。1:6379> get lower
" "
Redis 127。0。0。1:6379> set char Q
OK
Redis 127。0。0。1:6379> get char
"Q"
Redis 127。0。0。1:6379> bitop or char char lower
(integer) 1
Redis 127。0。0。1:6379> get char
"q"

注意: 對於NOT操作, key不能多個

link 連結串列結構

lpush key value
作用: 把值插入到連結頭部

rpop key
作用: 返回並刪除連結串列尾元素

rpush,lpop: 不解釋

lrange key start stop
作用: 返回連結串列中[start ,stop]中的元素
規律: 左數從0開始,右數從-1開始

lrem key count value
作用: 從key連結串列中刪除 value值
注: 刪除count的絕對值個value後結束
Count>0 從表頭刪除
Count<0 從表尾刪除

ltrim key start stop
作用: 剪下key對應的連結,切[start,stop]一段,並把該段重新賦給key

lindex key index
作用: 返回index索引上的值,
如 lindex key 2

llen key
作用:計算連結表的元素個數
Redis 127。0。0。1:6379> llen task
(integer) 3
Redis 127。0。0。1:6379>

linsert key after|before search value
作用: 在key連結串列中尋找’search’,並在search值之前|之後,。插入value
注: 一旦找到一個search後,命令就結束了,因此不會插入多個value

rpoplpush source dest
作用: 把source的尾部拿出,放在dest的頭部,
並返回 該單元值

場景: task + bak 雙鏈表完成安全佇列
Task列表 bak列表

業務邏輯:
1:Rpoplpush task bak
2:接收返回值,並做業務處理
3:如果成功,rpop bak 清除任務。 如不成功,下次從bak表裡取任務

brpop ,blpop key timeout
作用:等待彈出key的尾/頭元素,
Timeout為等待超時時間
如果timeout為0,則一直等待

場景: 長輪詢Ajax,線上聊天時,能夠用到

Setbit 的實際應用

場景: 1億個使用者, 每個使用者 登陸/做任意操作 ,記為 今天活躍,否則記為不活躍

每週評出: 有獎活躍使用者: 連續7天活動
每月評,等等。。。

思路:

Userid dt active
1 2013-07-27 1
1 2013-0726 1

如果是放在表中, 1:表急劇增大,2:要用group ,sum運算,計算較慢

用: 點陣圖法 bit-map
Log0721: ‘011001。。。。。。。。。。。。。。。0’

。。。。。。
log0726 : ‘011001。。。。。。。。。。。。。。。0’
Log0727 : ‘0110000。。。。。。。。。。。。。1’

1: 記錄使用者登陸:
每天按日期生成一個位圖, 使用者登陸後,把user_id位上的bit值置為1

2: 把1周的點陣圖 and 計算,
位上為1的,即是連續登陸的使用者

Redis 127。0。0。1:6379> setbit mon 100000000 0
(integer) 0
Redis 127。0。0。1:6379> setbit mon 3 1
(integer) 0
Redis 127。0。0。1:6379> setbit mon 5 1
(integer) 0
Redis 127。0。0。1:6379> setbit mon 7 1
(integer) 0
Redis 127。0。0。1:6379> setbit thur 100000000 0
(integer) 0
Redis 127。0。0。1:6379> setbit thur 3 1
(integer) 0
Redis 127。0。0。1:6379> setbit thur 5 1
(integer) 0
Redis 127。0。0。1:6379> setbit thur 8 1
(integer) 0
Redis 127。0。0。1:6379> setbit wen 100000000 0
(integer) 0
Redis 127。0。0。1:6379> setbit wen 3 1
(integer) 0
Redis 127。0。0。1:6379> setbit wen 4 1
(integer) 0
Redis 127。0。0。1:6379> setbit wen 6 1
(integer) 0
Redis 127。0。0。1:6379> bitop and res mon feb wen
(integer) 12500001

如上例,優點:
1: 節約空間, 1億人每天的登陸情況,用1億bit,約1200WByte,約10M 的字元就能表示
2: 計算方便

集合 set 相關命令

集合的性質: 唯一性,無序性,確定性

注: 在string和link的命令中,可以通過range 來訪問string中的某幾個字元或某幾個元素
但,因為集合的無序性,無法通過下標或範圍來訪問部分元素。

因此想看元素,要麼隨機先一個,要麼全選

sadd key value1 value2
作用: 往集合key中增加元素

srem value1 value2
作用: 刪除集合中集為 value1 value2的元素
返回值: 忽略不存在的元素後,真正刪除掉的元素的個數

spop key
作用: 返回並刪除集合中key中1個隨機元素

隨機--體現了無序性

srandmember key
作用: 返回集合key中,隨機的1個元素。

sismember key value
作用: 判斷value是否在key集合中
是返回1,否返回0

smembers key
作用: 返回集中中所有的元素

scard key
作用: 返回集合中元素的個數

smove source dest value
作用:把source中的value刪除,並新增到dest集合中

sinter key1 key2 key3
作用: 求出key1 key2 key3 三個集合中的交集,並返回
Redis 127。0。0。1:6379> sadd s1 0 2 4 6
(integer) 4
Redis 127。0。0。1:6379> sadd s2 1 2 3 4
(integer) 4
Redis 127。0。0。1:6379> sadd s3 4 8 9 12
(integer) 4
Redis 127。0。0。1:6379> sinter s1 s2 s3

  1. "4"
    Redis 127。0。0。1:6379> sinter s3 s1 s2
    "4"

sinterstore dest key1 key2 key3
作用: 求出key1 key2 key3 三個集合中的交集,並賦給dest

suion key1 key2。。 Keyn
作用: 求出key1 key2 keyn的並集,並返回

sdiff key1 key2 key3
作用: 求出key1與key2 key3的差集
即key1-key2-key3

order set 有序集合
zadd key score1 value1 score2 value2 。。
新增元素
Redis 127。0。0。1:6379> zadd stu 18 lily 19 hmm 20 lilei 21 lilei
(integer) 3

zrem key value1 value2 。。
作用: 刪除集合中的元素

zremrangebyscore key min max
作用: 按照socre來刪除元素,刪除score在[min,max]之間的
Redis 127。0。0。1:6379> zremrangebyscore stu 4 10
(integer) 2
Redis 127。0。0。1:6379> zrange stu 0 -1

  1. "f"

zremrangebyrank key start end
作用: 按排名刪除元素,刪除名次在[start,end]之間的
Redis 127。0。0。1:6379> zremrangebyrank stu 0 1
(integer) 2
Redis 127。0。0。1:6379> zrange stu 0 -1

  1. "c"
  2. "e"
  3. "f"
  4. "g"

zrank key member
查詢member的排名(升續 0名開始)

zrevrank key memeber
查詢 member的排名(降續 0名開始)

ZRANGE key start stop [WITHSCORES]
把集合排序後,返回名次[start,stop]的元素
預設是升續排列
Withscores 是把score也打印出來

zrevrange key start stop
作用:把集合降序排列,取名字[start,stop]之間的元素

zrangebyscore key min max [withscores] limit offset N
作用: 集合(升續)排序後,取score在[min,max]內的元素,
並跳過 offset個, 取出N個
Redis 127。0。0。1:6379> zadd stu 1 a 3 b 4 c 9 e 12 f 15 g
(integer) 6
Redis 127。0。0。1:6379> zrangebyscore stu 3 12 limit 1 2 withscores

  1. "c"
  2. "4"
  3. "e"
  4. "9"

zcard key
返回元素個數

zcount key min max
返回[min,max] 區間內元素的數量

zinterstore destination numkeys key1 [key2 。。。]
[WEIGHTS weight [weight 。。。]]
[AGGREGATE SUM|MIN|MAX]
求key1,key2的交集,key1,key2的權重分別是 weight1,weight2
聚合方法用: sum |min|max
聚合的結果,儲存在dest集合內

注意: weights ,aggregate如何理解?
答: 如果有交集, 交集元素又有socre,score怎麼處理?
Aggregate sum->score相加 , min 求最小score, max 最大score

另: 可以通過weigth設定不同key的權重, 交集時,socre * weights

詳見下例
Redis 127。0。0。1:6379> zadd z1 2 a 3 b 4 c
(integer) 3
Redis 127。0。0。1:6379> zadd z2 2。5 a 1 b 8 d
(integer) 3
Redis 127。0。0。1:6379> zinterstore tmp 2 z1 z2
(integer) 2
Redis 127。0。0。1:6379> zrange tmp 0 -1

  1. "b"
  2. "a"
    Redis 127。0。0。1:6379> zrange tmp 0 -1 withscores
  3. "b"
  4. "4"
  5. "a"
  6. "4。5"
    Redis 127。0。0。1:6379> zinterstore tmp 2 z1 z2 aggregate sum
    (integer) 2
    Redis 127。0。0。1:6379> zrange tmp 0 -1 withscores
  7. "b"
  8. "4"
  9. "a"
  10. "4。5"
    Redis 127。0。0。1:6379> zinterstore tmp 2 z1 z2 aggregate min
    (integer) 2
    Redis 127。0。0。1:6379> zrange tmp 0 -1 withscores
  11. "b"
  12. "1"
  13. "a"
  14. "2"
    Redis 127。0。0。1:6379> zinterstore tmp 2 z1 z2 weights 1 2
    (integer) 2
    Redis 127。0。0。1:6379> zrange tmp 0 -1 withscores
  15. "b"
  16. "5"
  17. "a"
  18. "7"

Hash 雜湊資料型別相關命令

hset key field value
作用: 把key中 filed域的值設為value
注:如果沒有field域,直接新增,如果有,則覆蓋原field域的值

hmset key field1 value1 [field2 value2 field3 value3 。。。。。。fieldn valuen]
作用: 設定field1->N 個域, 對應的值是value1->N
(對應PHP理解為 $key = array(file1=>value1, field2=>value2 。。。。fieldN=>valueN))

hget key field
作用: 返回key中field域的值

hmget key field1 field2 fieldN
作用: 返回key中field1 field2 fieldN域的值

hgetall key
作用:返回key中,所有域與其值

hdel key field
作用: 刪除key中 field域

hlen key
作用: 返回key中元素的數量

hexists key field
作用: 判斷key中有沒有field域

hinrby key field value
作用: 是把key中的field域的值增長整型值value

hinrby float key field value
作用: 是把key中的field域的值增長浮點值value

hkeys key
作用: 返回key中所有的field

kvals key
作用: 返回key中所有的value

Redis 中的事務

Redis支援簡單的事務

Redis與 mysql事務的對比

Mysql	Redis

開啟 start transaction muitl
語句 普通sql 普通命令
失敗 rollback 回滾 discard 取消
成功 commit exec

注: rollback與discard 的區別
如果已經成功執行了2條語句, 第3條語句出錯。
Rollback後,前2條的語句影響消失。
Discard只是結束本次事務,前2條語句造成的影響仍然還在

注:
在mutil後面的語句中, 語句出錯可能有2種情況
1: 語法就有問題,
這種,exec時,報錯, 所有語句得不到執行

2: 語法本身沒錯,但適用物件有問題。 比如 zadd 操作list物件
Exec之後,會執行正確的語句,並跳過有不適當的語句。

(如果zadd操作list這種事怎麼避免? 這一點,由程式設計師負責)

思考:
我正在買票
Ticket -1 , money -100
而票只有1張, 如果在我multi之後,和exec之前, 票被別人買了---即ticket變成0了。
我該如何觀察這種情景,並不再提交

悲觀的想法:
世界充滿危險,肯定有人和我搶, 給 ticket上鎖, 只有我能操作。 [悲觀鎖]

樂觀的想法:
沒有那麼人和我搶,因此,我只需要注意,
--有沒有人更改ticket的值就可以了 [樂觀鎖]

Redis的事務中,啟用的是樂觀鎖,只負責監測key沒有被改動。

具體的命令---- watch命令
例:
Redis 127。0。0。1:6379> watch ticket
OK
Redis 127。0。0。1:6379> multi
OK
Redis 127。0。0。1:6379> decr ticket
QUEUED
Redis 127。0。0。1:6379> decrby money 100
QUEUED
Redis 127。0。0。1:6379> exec
(nil) // 返回nil,說明監視的ticket已經改變了,事務就取消了。
Redis 127。0。0。1:6379> get ticket
"0"
Redis 127。0。0。1:6379> get money
"200"

watch key1 key2 。。。 keyN
作用:監聽key1 key2。。keyN有沒有變化,如果有變, 則事務取消

unwatch
作用: 取消所有watch監聽

訊息訂閱

使用辦法:
訂閱端: Subscribe 頻道名稱
釋出端: publish 頻道名稱 釋出內容

客戶端例子:
Redis 127。0。0。1:6379> subscribe news
Reading messages。。。 (press Ctrl-C to quit)

  1. "subscribe"
  2. "news"
  3. (integer) 1
  4. "message"
  5. "news"
  6. "good good study"
  7. "message"
  8. "news"
  9. "day day up"

服務端例子:
Redis 127。0。0。1:6379> publish news 'good good study'
(integer) 1
Redis 127。0。0。1:6379> publish news 'day day up'
(integer) 1

Redis持久化配置

Redis的持久化有2種方式 1快照 2是日誌

Rdb快照的配置選項

save 900 1 // 900內,有1條寫入,則產生快照
save 300 1000 // 如果300秒內有1000次寫入,則產生快照
save 60 10000 // 如果60秒內有10000次寫入,則產生快照
(這3個選項都遮蔽,則rdb禁用)

stop-writes-on-bgsave-error yes // 後臺備份程序出錯時,主程序停不停止寫入?
rdbcompression yes // 匯出的rdb檔案是否壓縮
Rdbchecksum yes // 匯入rbd恢復時資料時,要不要檢驗rdb的完整性
dbfilename dump。rdb //匯出來的rdb檔名
dir 。/ //rdb的放置路徑

Aof 的配置
appendonly no # 是否開啟 aof日誌功能

appendfsync always # 每1個命令,都立即同步到aof。 安全,速度慢
appendfsync everysec # 折衷方案,每秒寫1次
appendfsync no # 寫入工作交給作業系統,由作業系統判斷緩衝區大小,統一寫入到aof。 同步頻率低,速度快,

no-appendfsync-on-rewrite yes: # 正在匯出rdb快照的過程中,要不要停止同步aof
auto-aof-rewrite-percentage 100 #aof檔案大小比起上次重寫時的大小,增長率100%時,重寫
auto-aof-rewrite-min-size 64mb #aof檔案,至少超過64M時,重寫

注: 在dump rdb過程中,aof如果停止同步,會不會丟失?
答: 不會,所有的操作快取在記憶體的佇列裡, dump完成後,統一操作。

注: aof重寫是指什麼?
答: aof重寫是指把記憶體中的資料,逆化成命令,寫入到。aof日誌裡。
以解決 aof日誌過大的問題。

問: 如果rdb檔案,和aof檔案都存在,優先用誰來恢復資料?
答: aof

問: 2種是否可以同時用?
答: 可以,而且推薦這麼做

問: 恢復時rdb和aof哪個恢復的快
答: rdb快,因為其是資料的記憶體對映,直接載入到記憶體,而aof是命令,需要逐條執行
Redis 伺服器端命令
Redis 127。0。0。1:6380> time ,顯示伺服器時間 , 時間戳(秒), 微秒數

  1. "1375270361"
  2. "504511"

Redis 127。0。0。1:6380> dbsize // 當前資料庫的key的數量
(integer) 2
Redis 127。0。0。1:6380> select 2
OK
Redis 127。0。0。1:6380[2]> dbsize
(integer) 0
Redis 127。0。0。1:6380[2]>

BGREWRITEAOF 後臺程序重寫AOF
BGSAVE 後臺儲存rdb快照
SAVE 儲存rdb快照
LASTSAVE 上次儲存時間

Slaveof master-Host port , 把當前例項設為master的slave

Flushall 清空所有庫所有鍵
Flushdb 清空當前庫所有鍵
Showdown [save/nosave]

注: 如果不小心運行了flushall, 立即 shutdown nosave ,關閉伺服器
然後 手工編輯aof檔案, 去掉檔案中的 “flushall ”相關行, 然後開啟伺服器,就可以匯入回原來資料。

如果,flushall之後,系統恰好bgrewriteaof了,那麼aof就清空了,資料丟失。

Slowlog 顯示慢查詢
注:多慢才叫慢?
答: 由slowlog-log-slower-than 10000 ,來指定,(單位是微秒)

伺服器儲存多少條慢查詢的記錄?
答: 由 slowlog-max-len 128 ,來做限制

Info [Replication/CPU/Memory。。]
檢視Redis伺服器的資訊

Config get 配置項
Config set 配置項 值 (特殊的選項,不允許用此命令設定,如slave-of, 需要用單獨的slaveof命令來設定)

Redis運維時需要注意的引數
1: 記憶體

Memory

used_memory:859192 資料結構的空間
used_memory_rss:7634944 實佔空間
mem_fragmentation_ratio:8。89 前2者的比例,1。N為佳,如果此值過大,說明Redis的記憶體的碎片化嚴重,可以匯出再匯入一次。
2: 主從複製

Replication

role:slave
master_host:192。168。1。128
master_port:6379
master_link_status:up

3:持久化

Persistence

rdb_changes_since_last_save:0
rdb_last_save_time:1375224063

4: fork耗時

Status

latest_fork_usec:936 上次匯出rdb快照,持久化花費微秒
注意: 如果某例項有10G內容,匯出需要2分鐘,
每分鐘寫入10000次,導致不斷的rdb匯出,磁碟始處於高IO狀態。

5: 慢日誌
config get/set slowlog-log-slower-than
CONFIG get/SET slowlog-max-len
slowlog get N 獲取慢日誌

執行時更改master-slave
修改一臺slave(設為A)為new master
命令該服務不做其他Redis服務的slave
命令: slaveof no one
修改其readonly為yes

其他的slave再指向new master A
命令該服務為new master A的slave
命令格式 slaveof IP port
監控工具 sentinel

Sentinel不斷與master通訊,獲取master的slave資訊。
監聽master與slave的狀態
如果某slave失效,直接通知master去除該slave。

如果master失效,,是按照slave優先順序(可配置), 選取1個slave做 new master
,把其他slave--> new master

疑問: sentinel與master通訊,如果某次因為master IO操作頻繁,導致超時,
此時,認為master失效,很武斷。
解決: sentnel允許多個例項看守1個master, 當N臺(N可設定)sentinel都認為master失效,才正式失效。

Sentinel選項配置
port 26379 # 埠
sentinel monitor mymaster 127。0。0。1 6379 2 ,
給主機起的名字(不重即可),
當2個sentinel例項都認為master失效時,正式失效

sentinel down-after-milliseconds mymaster 30000 多少毫秒後連線不到master認為斷開
sentinel can-failover mymaster yes #是否允許sentinel修改slave->master。 如為no,則只能監控,無權修改。/
sentinel parallel-syncs mymaster 1 , 一次性修改幾個slave指向新的new master。
sentinel client-reconfig-script mymaster /var/Redis/reconfig。sh ,# 在重新配置new master,new slave過程,可以觸發的指令碼
Redis 與關係型資料庫的適合場景

書籤系統
create table book (
bookid int,
title char(20)
)engine myisam charset utf8;

insert into book values
(5 , 'PHP聖經'),
(6 , 'ruby實戰'),
(7 , 'mysql運維')
(8, 'ruby服務端程式設計');

create table tags (
tid int,
bookid int,
content char(20)
)engine myisam charset utf8;

insert into tags values
(10 , 5 , 'PHP'),
(11 , 5 , 'WEB'),
(12 , 6 , 'WEB'),
(13 , 6 , 'ruby'),
(14 , 7 , 'database'),
(15 , 8 , 'ruby'),
(16 , 8 , 'server');

既有web標籤,又有PHP,同時還標籤的書,要用連線查詢

select * from tags inner join tags as t on tags。bookid=t。bookid
where tags。content='PHP' and t。content='WEB';

換成key-value儲存
用kv 來儲存
set book:5:title 'PHP聖經'
set book:6:title 'ruby實戰'
set book:7:title 'mysql運難'
set book:8:title ‘ruby server’

sadd tag:PHP 5
sadd tag:WEB 5 6
sadd tag:database 7
sadd tag:ruby 6 8
sadd tag:SERVER 8

查: 既有PHP,又有WEB的書
Sinter tag:PHP tag:WEB #查集合的交集

查: 有PHP或有WEB標籤的書
Sunin tag:PHP tag:WEB

查:含有ruby,不含WEB標籤的書
Sdiff tag:ruby tag:WEB #求差集

Redis key 設計技巧

1: 把表名轉換為key字首 如, tag:
2: 第2段放置用於區分割槽key的欄位--對應mysql中的主鍵的列名,如userid
3: 第3段放置主鍵值,如2,3,4。。。。, a , b ,c
4: 第4段,寫要儲存的列名

使用者表 user , 轉換為key-value儲存
userid username passworde email
9 Lisi 1111111 lisi@163。com

set user:userid:9:username lisi
set user:userid:9:password 111111
set user:userid:9:email lisi@163。com

keys user:userid:9*

2 注意:
在關係型資料中,除主鍵外,還有可能其他列也步驟查詢,
如上表中, username 也是極頻繁查詢的,往往這種列也是加了索引的。

轉換到k-v資料中,則也要相應的生成一條按照該列為主的key-value
Set user:username:lisi:uid 9

這樣,我們可以根據username:lisi:uid ,查出userid=9,
再查user:9:password/email 。。。

完成了根據使用者名稱來查詢使用者資訊
php-Redis擴充套件編譯

1: 到pecl。php。net 搜尋Redis
2: 下載stable版(穩定版)擴充套件
3: 解壓,
4: 執行/php/path/bin/phpize (作用是檢測PHP的核心版本,併為擴充套件生成相應的編譯配置)
5: configure --with-php-config=/php/path/bin/php-config
6: make && make install

引入編譯出的Redis。so外掛
1: 編輯php。ini
2: 新增

Redis外掛的使用
// get instance
$Redis = new Redis();

// connect to Redis server
$Redis->open('localhost',6380);
$Redis->set('user:userid:9:username','wangwu');
var_dump($Redis->get('user:userid:9:username'));

微博專案的key設計
全域性相關的key:
表名 global
列名 操作 備註
Global:userid incr 產生全域性的userid
Global:postid Incr 產生全域性的postid

使用者相關的key(表)
表名 user
Userid Username Password Authsecret
3 Test3 1111111 #U*Q(%_

在Redis中,變成以下幾個key
Key字首 user
User:Userid:* User:userid:Username User:userid:Password User:userid::Authsecret
User:userid:3 User:userid:3:Test3 User:userid:3:1111111 User:userid:3:#U
Q(%_

微博相關的表設計
表名 post
Postid Userid Username Time Content
4 2 Lisi 1370987654f 測試內容

微博在Redis中,與表設計對應的key設計
Key字首 post
Post:Postid:* Post:postid:Userid Post:postid::Username Post:postid::Time Post:postid::Content
4 2 Lisi 1370987654f 測試內容

關注表: following
Following:$userid -->

粉絲表
Follower:$userid --->

推送表:revicepost

3 4 7

=拉模型,改進=====

拉取表

3 4 7

問: 上次我拉取了 A->5,67,三條微博, 下次重新整理home。php, 從>7的微博開始拉取
解決: 拉取時,設定一個lastpull時間點, 下次拉取時,取>lastpull的微博

問: 有很多關注人,如何取?
解決: 迴圈自己的關注列表,逐個取他們的新微博

問: 取出來之後放在哪兒?
答: pull:$userid的連結裡

問: 如果個人中心,只有前1000條
答: ltrim,只取前1000條

問: 如果我關注 A,B兩人, 從2人中,各取3條最新資訊
,這3+3條資訊, 從時間上,是交錯的, 如何按時間排序?
答: 我們釋出時, 是釋出的hash結構, 不能按時間來排序。

解決: 同步時,取微博後,記錄本次取的微博的最大id,
下次同步時,只取比最大id更大的微博

Time taken for tests: 32。690 seconds
Complete requests: 20000
Failed requests: 0
Write errors: 0
Non-2xx responses: 20000
Total transferred: 13520000 bytes
Total POSTed: 5340000
HTML transferred: 9300000 bytes
Requests per second: 611。80 [#/sec] (mean)
Time per request: 81。726 [ms] (mean)
Time per request: 1。635 [ms] (mean, across all concurrent requests)
Transfer rate: 403。88 [Kbytes/sec] received
159。52 kb/s sent
563。41 kb/s total

Connection Times (ms)
min mean[+/-sd] median max
Connect: 0 0 0。9 0 19
Processing: 14 82 8。4 81 153
Waiting: 4 82 8。4 80 153
Total: 20 82 8。2 81 153

Percentage of the requests served within a certain time (ms)
50% 81
66% 84
75% 86
80% 88
90% 93
95% 96
98% 100
99% 103
100% 153 (longest request)

測試結果:
50個併發, 20000次請求, 虛擬下,未做特殊優化
每次請求Redis寫操作6次。
30+秒左右完成。

平均每秒釋出700條微博, 4000次Redis寫入。
後臺定時任務,迴歸冷資料入mysql
Redis配置檔案
daemonize yes # Redis是否以後臺程序執行
Requirepass 密碼 # 配置Redis連線的密碼
注:配置密碼後,客戶端連上伺服器,需要先執行授權命令

auth 密碼