資料提取之JSON與JsonPATH

JSON(JavaScript Object Notation) 是一種輕量級的資料交換格式，它使得人們很容易的進行閱讀和編寫。同時也方便了機器進行解析和生成。適用於進行資料互動的場景，比如網站前臺與後臺之間的資料互動。

JSON和XML的比較可謂不相上下。

Python 2.7中自帶了JSON模組，直接import json就可以使用了。

官方文件：http://docs.python.org/library/json.html

Json線上解析網站：http://www.json.cn/#

JSON

json簡單說就是javascript中的物件和陣列，所以這兩種結構就是物件和陣列兩種結構，通過這兩種結構可以表示各種複雜的結構

1. 物件：物件在js中表示為{ }括起來的內容，資料結構為 { key：value, key：value, ... }的鍵值對的結構，在面向物件的語言中，key為物件的屬性，value為對應的屬性值，所以很容易理解，取值方法為 物件.key 獲取屬性值，這個屬性值的型別可以是數字、字串、陣列、物件這幾種。

2. 陣列：陣列在js中是中括號[ ]括起來的內容，資料結構為 ["Python", "javascript", "C++", ...]，取值方式和所有語言中一樣，使用索引獲取，欄位值的型別可以是 數字、字串、陣列、物件幾種。

import json

json模組提供了四個功能：dumps、dump、loads、load，用於字串 和 python資料型別間進行轉換。

1. json.loads()

把Json格式字串解碼轉換成Python物件 從json到python的型別轉化對照如下：

# json_loads.py

import json

strList = '[1, 2, 3, 4]'

strDict = '{"city": "北京", "name": "大貓"}'

json.loads(strList) 
# [1, 2, 3, 4] json.loads(strDict) # json資料自動按Unicode儲存 # {u'city': u'\u5317\u4eac', u'name': u'\u5927\u732b'} 
 

2. json.dumps()

實現python型別轉化為json字串，返回一個str物件 把一個Python物件編碼轉換成Json字串

從python原始型別向json型別的轉化對照如下：

# json_dumps.py

import json
import chardet

listStr = [1, 2, 3, 4] tupleStr = (1, 2, 3, 4) dictStr = {"city": "北京", "name": "大貓"} json.dumps(listStr) # '[1, 2, 3, 4]' json.dumps(tupleStr) # '[1, 2, 3, 4]' # 注意：json.dumps() 序列化時預設使用的ascii編碼 # 新增引數 ensure_ascii=False 禁用ascii編碼，按utf-8編碼 # chardet.detect()返回字典, 其中confidence是檢測精確度 json.dumps(dictStr) # '{"city": "\\u5317\\u4eac", "name": "\\u5927\\u5218"}' chardet.detect(json.dumps(dictStr)) # {'confidence': 1.0, 'encoding': 'ascii'} print json.dumps(dictStr, ensure_ascii=False) # {"city": "北京", "name": "大劉"} chardet.detect(json.dumps(dictStr, ensure_ascii=False)) # {'confidence': 0.99, 'encoding': 'utf-8'} 

chardet是一個非常優秀的編碼識別模組，可通過pip安裝

3. json.dump()

將Python內建型別序列化為json物件後寫入檔案

# json_dump.py

import json

listStr = [{"city": "北京"}, {"name": "大劉"}] json.dump(listStr, open("listStr.json","w"), ensure_ascii=False) dictStr = {"city": "北京", "name": "大劉"} json.dump(dictStr, open("dictStr.json","w"), ensure_ascii=False) 

4. json.load()

讀取檔案中json形式的字串元素 轉化成python型別

# json_load.py

import json

strList = json.load(open("listStr.json"))
print strList

# [{u'city': u'\u5317\u4eac'}, {u'name': u'\u5927\u5218'}] strDict = json.load(open("dictStr.json")) print strDict # {u'city': u'\u5317\u4eac', u'name': u'\u5927\u5218'} 

JsonPath

JsonPath 是一種資訊抽取類庫，是從JSON文件中抽取指定資訊的工具，提供多種語言實現版本，包括：Javascript, Python， PHP 和 Java。

JsonPath 對於 JSON 來說，相當於 XPATH 對於 XML。

下載地址：https://pypi.python.org/pypi/jsonpath

安裝方法：點選Download URL連結下載jsonpath，解壓之後執行python setup.py install

官方文件：http://goessner.net/articles/JsonPath

JsonPath與XPath語法對比：

Json結構清晰，可讀性高，複雜度低，非常容易匹配，下表中對應了XPath的用法。

示例：

我們以拉勾網城市JSON檔案 http://www.lagou.com/lbs/getAllCitySearchLabels.json 為例，獲取所有城市。

# jsonpath_lagou.py

import urllib2
import jsonpath
import json
import chardet url = 'http://www.lagou.com/lbs/getAllCitySearchLabels.json' request =urllib2.Request(url) response = urllib2.urlopen(request) html = response.read() # 把json格式字串轉換成python物件 jsonobj = json.loads(html) # 從根節點開始，匹配name節點 citylist = jsonpath.jsonpath(jsonobj,'$..name') print citylist print type(citylist) fp = open('city.json','w') content = json.dumps(citylist, ensure_ascii=False) print content fp.write(content.encode('utf-8')) fp.close() 

注意事項：

json.loads() 是把 Json格式字串解碼轉換成Python物件，如果在json.loads的時候出錯，要注意被解碼的Json字元的編碼。

如果傳入的字串的編碼不是UTF-8的話，需要指定字元編碼的引數 encoding

dataDict = json.loads(jsonStrGBK);

• dataJsonStr是JSON字串，假設其編碼本身是非UTF-8的話而是GBK 的，那麼上述程式碼會導致出錯，改為對應的：

    dataDict = json.loads(jsonStrGBK, encoding="GBK");
  

• 如果 dataJsonStr通過encoding指定了合適的編碼，但是其中又包含了其他編碼的字元，則需要先去將dataJsonStr轉換為Unicode，然後再指定編碼格式呼叫json.loads()

``` python

dataJsonStrUni = dataJsonStr.decode("GB2312"); dataDict = json.loads(dataJsonStrUni, encoding="GB2312");

##字串編碼轉換

這是中國程式設計師最苦逼的地方，什麼亂碼之類的幾乎都是由漢字引起的。
其實編碼問題很好搞定，只要記住一點：

####任何平臺的任何編碼 都能和 Unicode 互相轉換

UTF-8 與 GBK 互相轉換，那就先把UTF-8轉換成Unicode，再從Unicode轉換成GBK，反之同理。



``` python 
# 這是一個 UTF-8 編碼的字串
utf8Str = "你好地球"

# 1. 將 UTF-8 編碼的字串 轉換成 Unicode 編碼
unicodeStr = utf8Str.decode("UTF-8")

# 2. 再將 Unicode 編碼格式字串 轉換成 GBK 編碼
gbkData = unicodeStr.encode("GBK")

# 1. 再將 GBK 編碼格式字串 轉化成 Unicode
unicodeStr = gbkData.decode("gbk")

# 2. 再將 Unicode 編碼格式字串轉換成 UTF-8
utf8Str = unicodeStr.encode("UTF-8")

decode的作用是將其他編碼的字串轉換成 Unicode 編碼

encode的作用是將 Unicode 編碼轉換成其他編碼的字串

一句話：UTF-8是對Unicode字符集進行編碼的一種編碼方式