1. 程式人生 > 資料庫 >淺談python處理json和redis hash的坑

淺談python處理json和redis hash的坑

1、使用MySQLdb讀取出來的資料是unicode字串,如果要寫入redis的hash中會變成

"{u'eth0_outFlow': 2.5,u'eth1_inFlow': 3.44}"

無法使用json.loads,需要提前將unicode轉成str:

str(eth0_outFlow)

2、單引號包圍的key不是規範的json格式

"{'eth0_outFlow': 2.5,'eth1_inFlow': 3.44}"

需要轉成規範的格式才能使用json.loads()

replace('\'','"') => '{"eth0_outFlow": 2.5,"eth1_inFlow": 3.44}'

3、None寫入redis的hash是直接變成 'None',需要轉成'null' 才能使用 json.loads()

"{'eth0_outFlow': None,'eth1_inFlow': None}"

replace('\'','"').replace("None","null") => '{"eth0_outFlow": null,"eth1_inFlow": null}'

4、json.loads()會把key的型別從str轉成unicode,之後寫進redis後就變成了

"{u'eth0_outFlow': None,u'eth1_inFlow': None}"

需要將其轉成str的key才能寫進redis

value = json.loads(cache)
items = value.iteritems()
value = {k.encode('utf8'): v for k,v in items}
redisCli.hmset(key,value)

5、json.loads如果要保持字典的順序則可以使用

from collections import OrderedDict

json.loads(data,object_pairs_hook=OrderedDict)

6、json.dumps中文亂碼解決方法

>>> js = json.loads('{"haha": "哈哈"}') 
>>> print json.dumps(js)
{"haha": "\u54c8\u54c8"}
>>> print json.dumps(js,ensure_ascii=False)  
{"haha": "哈哈"}

7、解碼出錯,使用json.loads會報錯 'utf8' codec can't decode byte ...則使用忽略錯誤的方法

json.loads(unicode( str,errors='ignore'))

8、redis hash在存入redis後所有key都會變成字串

9、使用redis的時候儘量減少網路IO操作,有時候可以使用hash代替 key-value字串,會得到事半功倍的效果

10、redis最大記憶體 maxmemory達到設定的最大值時會隨機刪除設定了expire時間的key,這個讓我除錯了幾個鍾

補充知識:redis的hash與string區別

Redis hash 是一個 string 型別的 field 和 value 的 對映表。它的新增、刪除操作都是 0(1)(平均操作)。

hash 特別 適合用於儲存物件。相較於將物件的每個欄位存成單個 string 型別(string 型別可以儲存物件序列化)。

將一個物件儲存在 hash 型別中會佔用更少的記憶體,並且可以更方便的存取整個物件。

(省記憶體的原因是新建一個 hash 物件時開始是用 zipmap(又稱為 small hash)來儲存的。

這個 zipmap 其實並不是 hash table,但是 zipmap 相比正常的 hash 實現可以節省不少 hash 本身需要的一些元資料儲存開銷。

對比軟體:Beyond Compare 3

以上這篇淺談python處理json和redis hash的坑就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支援我們。