前面的章節中，我們說到了如何傳送傳送，對應的，回顧之前的爬蟲流程，在傳送完請求之後，能夠獲取響應，這個時候就需要從響應中提取資料了.

1. 爬蟲中資料的分類

在爬蟲爬取到的資料中有很多不同型別的資料,我們需要了解資料的不同型別來規律的提取和解析資料.

根據響應的內容,我們可以將獲得到的資料分為以下兩類:

• 結構化資料：json，xml等

  • 處理方式：直接轉化為python型別

• 非結構化資料：HTML

  • 處理方式：正則表示式、xpath

下面以某條的首頁為例，介紹結構化資料和非結構化資料

• 結構化資料例子：
  

• 非結構化資料：
  

我們可以看到,第一張圖我們捕獲到的資訊是JSON格式的,那什麼是JSON呢?

我們可以在Python中匯入JSON庫來解析.方法如下:

import json

json有四個方法供我們進行資料轉換:
一般常用的就是前兩種.

mydict = {'name': 'xiaoming', 'age': 18}
#json.dumps 實現python型別轉化為json字串
json_str = json.dumps(mydict)	

#json.loads 實現json字串轉化為python的資料型別
my_dict = json.loads(json_str)


#json.dump 實現把python型別寫入類檔案物件
with open("temp.txt","w") as f:
    json.dump(mydict,f,ensure_ascii=False,indent=2)

# json.load 實現類檔案物件中的json字串轉化為python型別
with open("temp.txt","r") as f:
    my_dict = json.load(f)
 

jsonpath模組

JsonPath 模組是用來解析多層巢狀的json資料;
JsonPath 是一種資訊抽取類庫，是從JSON文件中抽取指定資訊的工具，提供多種語言實現版本，包括：Javascript, Python， PHP 和 Java。

JsonPath 對於 JSON 來說，相當於 XPath 對於 XML。

安裝方法：pip install jsonpath

官方文件：http://goessner.net/articles/JsonPath

JsonPath與XPath語法對比：

import requests
import jsonpath
import json

url = 'http://www.lagou.com/lbs/getAllCitySearchLabels.json'
response =requests.get(url)
html_str = response.content.decode()

# 把json格式字串轉換成python物件
jsonobj = json.loads(html_str)

# 從根節點開始，匹配name節點
citylist = jsonpath.jsonpath(jsonobj,'$..name')

fp = open('city.json','wb')

content = json.dumps(citylist, ensure_ascii=False)

fp.write(content.encode('utf-8'))
fp.close()
 

原始碼:

import requests
import jsonpath
import json
import time

class LaGou(object):

    def __init__(self, work):
        self.url = 'https://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false'
        self.headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.84 Safari/537.36',
            'Referer': 'https://www.lagou.com/jobs/list_%E7%88%AC%E8%99%AB?city=%E5%8C%97%E4%BA%AC&cl=false&fromSearch=true&labelWords=&suginput='
    }
        self.proxies = {
        'http': 'http://219.141.153.36'
    }
        self.work = work
        self.file = open('work.json', 'w', encoding='utf-8')


    def get_data(self, url, count):
    session = requests.session()
    data = {
        'first': 'true',
        'pn': str(count),
        'kd': self.work
    }
    r = session.post(url, headers=self.headers, data=data)
    print(r.status_code)
    return r.content


    def parse_data(self, data):
        data_dict = json.loads(data.decode())
        result = jsonpath.jsonpath(data_dict, '$..positionResult.result')
        details_url = []
        for res in result:
            for content in res:
                temp = dict()
                temp['company'] = content['companyFullName']
                temp['work'] = content['positionName']
                temp['education'] = content['education']
                temp['salary'] = content['salary']
                temp['CreateTime'] = content['formatCreateTime']
                temp['details_url'] = 'https://www.lagou.com/jobs/' + str(content['positionId']) + '.html'
                details_url.append(temp)

        return details_url


    def save_data(self, work):
        data = json.dumps(work, ensure_ascii=False) + ',\r'
        self.file.write(data)


    def __del__(self):

        self.file.close()


    def run(self):

        url = self.url
        count = 0
        while True:
            count += 1
            time.sleep(4)
            data = self.get_data(url, count)
            work_list = self.parse_data(data)
            print('正在儲存第{}頁資料!'.format(count))
            for work in work_list:
                self.save_data(work)
            print('儲存完畢')
            print('--------------------------------')


if __name__ == '__main__':

    lagou = LaGou('爬蟲')
    lagou.run()