1. 程式人生 > >python爬蟲4——json資料處理

python爬蟲4——json資料處理

JSON(JavaScript Object Notation) 是一種輕量級的資料交換格式,它使得人們很容易的進行閱讀和編寫。同時也方便了機器進行解析和生成。適用於進行資料互動的場景,比如網站前臺與後臺之間的資料互動。

python 2.7自帶了JSON,使用import json 就可以呼叫了。

一、JSON

json就是javascript的陣列和物件,通過這兩種結構可以表示各種複雜的結構:

物件:物件在js中表示為{ }括起來的內容,資料結構為 { key:value, key:value, ... }的鍵值對的結構,在面向物件的語言中,key為物件的屬性,value為對應的屬性值,所以很容易理解,取值方法為 物件.key 獲取屬性值,這個屬性值的型別可以是數字、字串、陣列、物件這幾種。

陣列:陣列在js中是中括號[ ]括起來的內容,資料結構為 ["Python", "javascript", "C++", ...],取值方式和所有語言中一樣,使用索引獲取,欄位值的型別可以是 數字、字串、陣列、物件幾種。

1. json.loads()

把Json格式字串解碼轉換成Python物件 從json到python的型別轉化對照如下:

#!/usr/bin/env python
# -*- coding:utf-8 -*-

import json


strList = '[1, 2, 3, 4]'
print json.loads(strList)
# [1, 2, 3, 4]

strDict = '{"city": "北京", "name": "大貓"}'
print json.loads(strDict)
# json資料自動按Unicode儲存

輸出結果:

[1, 2, 3, 4]
{u'city': u'\u5317\u4eac', u'name': u'\u5927\u732b'}


2. json.dumps()

實現python型別轉化為json字串,返回一個str物件 把一個Python物件編碼轉換成Json字串

從python原始型別向json型別的轉化對照如下:

# 注意:json.dumps() 序列化時預設使用的ascii編碼
# 新增引數 ensure_ascii=False 禁用ascii編碼,按utf-8編碼
# chardet.detect()返回字典, 其中confidence是檢測精確度

print json.dumps(dictStr)
# '{"city": "\\u5317\\u4eac", "name": "\\u5927\\u5218"}'

輸出:{"city": "\u5317\u4eac", "name": "\u5927\u732b"}

print chardet.detect(json.dumps(dictStr))

輸出:{'confidence': 1.0, 'language': '', 'encoding': 'ascii'}

print json.dumps(dictStr, ensure_ascii=False)
# {"city": "北京", "name": "大劉"}

print chardet.detect(json.dumps(dictStr, ensure_ascii=False))
# {'confidence': 0.99, 'encoding': 'utf-8'}

3. json.dump()

將Python內建型別序列化為json物件後寫入檔案

# json_dump.py

import json

listStr = [{"city": "北京"}, {"name": "大劉"}]
json.dump(listStr, open("listStr.json","w"), ensure_ascii=False)

dictStr = {"city": "北京", "name": "大劉"}
json.dump(dictStr, open("dictStr.json","w"), ensure_ascii=False)

利用這段程式碼可以直接生成json檔案:

4. json.load()

讀取檔案中json形式的字串元素 轉化成python型別

# json_load.py

import json

strList = json.load(open("listStr.json"))
print strList

# [{u'city': u'\u5317\u4eac'}, {u'name': u'\u5927\u5218'}]

strDict = json.load(open("dictStr.json"))
print strDict
# {u'city': u'\u5317\u4eac', u'name': u'\u5927\u5218'}

這段程式碼就可以讀取檔案啦!

JsonPath

JsonPath 是一種資訊抽取類庫,是從JSON文件中抽取指定資訊的工具,提供多種語言實現版本,包括:Javascript, Python, PHP 和 Java。

JsonPath 對於 JSON 來說,相當於 XPATH 對於 XML。

安裝方法:點選Download URL連結下載jsonpath,解壓之後執行python setup.py install