Python 爬蟲從入門到進階之路（十四）
之前的文章我們已經可以根據 re 模組，Xpath 模組和 BeautifulSoup4 模組來爬取網站上我們想要的資料並且儲存在本地，但是我們並沒有對儲存資料的格式有要求，本章我們就來看資料的儲存格式 JSON 及 Python 中的 json 模組。
JSON(JavaScript Object Notation) 是一種輕量級的資料交換格式，它使得人們很容易的進行閱讀和編寫。同時也方便了機器進行解析和生成。適用於進行資料互動的場景，比如網站前臺與後臺之間的資料互動。
JSON和XML的比較可謂不相上下。
Python 中自帶了JSON模組，直接import json就可以使用了。
官方文件：http://docs.python.org/library/json.html
Json線上解析網站：http://www.json.cn/#
json簡單說就是javascript中的物件和陣列，所以這兩種結構就是物件和陣列兩種結構，通過這兩種結構可以表示各種複雜的結構
物件：物件在js中表示為
{ }括起來的內容，資料結構為{ key：value, key：value, ... }的鍵值對的結構，在面向物件的語言中，key為物件的屬性，value為對應的屬性值，所以很容易理解，取值方法為 物件.key 獲取屬性值，這個屬性值的型別可以是數字、字串、陣列、物件這幾種。陣列：陣列在js中是中括號
[ ]括起來的內容，資料結構為["Python", "javascript", "C++", ...]，取值方式和所有語言中一樣，使用索引獲取，欄位值的型別可以是 數字、字串、陣列、物件幾種。
Python中 json 模組提供了四個功能：dumps、dump、loads、load，用於字串 和 python資料型別間進行轉換。
1. json.loads()
把Json格式字串解碼轉換成Python物件 從json到python的型別轉化對照如下：
1 import json
2
3 strList = '[1, 2, 3, 4]'
4 strDict = '{"city": "北京", "name": "大貓"}'
5
6 print(json.loads(strList)) # [1, 2, 3, 4]
7 print(json.loads(strDict)) # {'city': '北京', 'name': '張三'}2. json.dumps()
實現 python 型別轉化為 json 字串，返回一個str物件 把一個 Python 物件編碼轉換成 Json 字串
從 python 原始型別向 json 型別的轉化對照如下：
1 import json
2
3 listStr = [1, 2, 3, 4]
4 tupleStr = (1, 2, 3, 4)
5 dictStr = {"city": "北京", "name": "張三"}
6
7 print(json.dumps(listStr)) # '[1, 2, 3, 4]'
8 print(json.dumps(tupleStr)) # '[1, 2, 3, 4]'
9 print(json.dumps(dictStr)) # '{"city": "\u5317\u4eac", "name": "\u5f20\u4e09"}'
3. json.dump()
將Python內建型別序列化為json物件後寫入檔案
1 import json
2
3 listStr = [{"city": "北京"}, {"name": "張三"}]
4 json.dump(listStr, open("listStr.json", "w"))
5
6 dictStr = {"city": "北京", "name": "李四"}
7 json.dump(dictStr, open("dictStr.json", "w"), ensure_ascii=False) # 新增引數 ensure_ascii=False 禁用ascii編碼，按utf-8編碼
輸出結果：
4. json.load()
讀取檔案中json形式的字串元素 轉化成python型別
1 import json
2
3 strList = json.load(open("listStr.json"))
4 print(strList) # [{'city': '北京'}, {'name': '張三'}]
5
6 strDict = json.load(open("dictStr.json"))
7 print(strDict) # {'city': '北京', 'name': '李四'}
JsonPath
JsonPath 是一種資訊抽取類庫，是從JSON文件中抽取指定資訊的工具，提供多種語言實現版本，包括：Javascript, Python， PHP 和 Java。
JsonPath 對於 JSON 來說，相當於 XPATH 對於 XML。
下載地址：https://pypi.python.org/pypi/jsonpath
安裝方法：點選
Download URL連結下載jsonpath，解壓之後執行python setup.py install官方文件：http://goessner.net/articles/JsonPath
JsonPath與XPath語法對比：
Json結構清晰，可讀性高，複雜度低，非常容易匹配，下表中對應了XPath的用法。
| XPath | JSONPath | 描述 |
|---|---|---|
/ |
$ |
根節點 |
. |
@ |
現行節點 |
/ |
.or[] |
取子節點 |
.. |
n/a | 取父節點，Jsonpath未支援 |
// |
.. |
就是不管位置，選擇所有符合條件的條件 |
* |
* |
匹配所有元素節點 |
@ |
n/a | 根據屬性訪問，Json不支援，因為Json是個Key-value遞迴結構，不需要。 |
[] |
[] |
迭代器標示（可以在裡邊做簡單的迭代操作，如陣列下標，根據內容選值等） |
| | | [,] |
支援迭代器中做多選。 |
[] |
?() |
支援過濾操作. |
| n/a | () |
支援表示式計算 |
() |
n/a | 分組，JsonPath不支援 |
示例：
我們以拉勾網城市JSON檔案 https://www.lagou.com/lbs/getAllCitySearchLabels.json 為例，獲取所有城市。
1 import urllib.request
2 import json
3 import jsonpath
4 import ssl
5
6 # 取消代理驗證
7 ssl._create_default_https_context = ssl._create_unverified_context
8
9 url = 'https://www.lagou.com/lbs/getAllCitySearchLabels.json'
10 headers = {
11 "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"}
12 # 傳送請求
13 request = urllib.request.Request(url, headers=headers)
14 response = urllib.request.urlopen(request)
15 html = response.read().decode("utf-8")
16 # 把json格式字串轉換成python物件
17 jsonobj = json.loads(html)
18 # 從根節點開始，匹配name節點
19 citylist = jsonpath.jsonpath(jsonobj, '$..name')
20
21 fp = open('city.json', 'w')
22 content = json.dumps(citylist, ensure_ascii=False)
23 fp.write(content)
24 fp.close()
程式啟動後會在本地生成一個 city.json 的檔案，結果如下：
&n