二十九、scrapy構造併發送請求
1. 翻頁請求的思路
對於要提取如下圖中所有頁面上的資料該怎麼辦?
- 回顧requests模組是如何實現翻頁請求的:
(1)找到下一頁的URL地址
(2)呼叫requests.get(url)呼叫requests.get(url)
- scrapy實現翻頁的思路:
(1)找到下一頁的url地址
(2)構造url地址的請求物件,傳遞給引擎
2. 構造Request物件,併發送請求
2.1 實現方法
(1)確定url地址
(2) 構造請求,scrapy.Request(url,callback)
callback:指定解析函式名稱,表示該請求返回的響應使用哪一個函式進行解析
(3)把請求交給引擎:yield scrapy.Request(url,callback)
2.2 騰訊招聘爬蟲
通過爬取騰訊招聘的頁面的招聘資訊,學習如何實現翻頁請求
地址:http://hr.tencent.com/position.php
思路分析:
(1)獲取首頁的資料
(2)尋找下一頁的地址,進行翻頁,獲取資料
注意:
- 可以在settings中設定ROBOTS協議
# False表示忽略網站的robots.txt協議,預設為True
ROBOTSTXT_OBEY = False
- 可以在settings中設定User-Agent:
# scrapy傳送的每一個請求的預設UA都是設定的這個User-Agent
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'
2.3 程式碼實現
在爬蟲檔案的parse方法中:
# 提取下一頁的href並拼接url
next_url = 'https://hr.tencent.com/' + response.xpath('//a[text()="下一頁"]/@href').extract_first()
# 判斷是否是最後一頁
if response.xpath('//a[text()="下一頁"]/@href').extract_first() != 'javascript:;':
# 構造scrapy.Request物件,並yield給引擎
# 利用callback引數指定該Request物件之後獲取的響應用哪個函式進行解析
# 利用meta引數將本函式中提取的資料傳遞給callback指定的函式
# 注意這裡是yield
yield scrapy.Request(next_url, callback=self.parse)
2.4 scrapy.Request的更多引數
scrapy.Request(url[,callback,method="GET",headers,body,cookies,meta,dont_filter=False])
引數解釋
中括號裡的引數為可選引數
- callback:表示當前的url的響應交給哪個函式去處理
- meta:實現資料在不同的解析函式中傳遞,meta預設帶有部分資料,比如下載延遲,請求深度等
- dont_filter:預設為False,會過濾請求的url地址,即請求過的url地址不會繼續被請求,對需要重複請求的url地址可以把它設定為Ture,比如貼吧的翻頁請求,頁面的資料總是在變化;start_urls中的地址會被反覆請求,否則程式不會啟動
- method:指定POST或GET請求
- headers:接收一個字典,其中不包括cookies
- cookies:接收一個字典,專門放置cookies
- body:接收一個字典,為POST的資料
3. meta引數的使用
meta的作用:meta可以實現資料在不同的解析函式中的傳遞
在爬蟲檔案的parse方法中,提取詳情頁之前增加callback指定的parse_detail函式:
def parse(self,response):
...
yield scrapy.Request(detail_url, callback=self.parse_detail,meta={"item":item})
...
def parse_detail(self,response):
#獲取之前傳入的item
item = resposne.meta["item"]
特別注意
- meta引數是一個字典
- meta字典中有一個固定的鍵proxy,表示代理ip
4. BaseItem的使用
items.py中定義BaseItem
4.1 BaseItem能夠做什麼
-
定義item即提前規劃好哪些欄位需要抓取,防止手誤;配合註釋一起可以清晰的知道要抓取哪些欄位;沒有定義的欄位不能抓取;在欄位不多的情況下很少使用;可以在爬蟲中自定義資料字典來代替
-
使用scrapy的一些特定元件需要BaseItem做支援,如scrapy的ImagesPipeline管道類,百度搜索瞭解更多
-
在python大多數框架中,大多數框架都會自定義自己的資料型別(在python自帶的資料結構基礎上進行封裝),目的是增加功能,增加自定義異常
如response.xpath()的返回物件具有extract()等方法
4.2 定義BaseItem
在items.py檔案中定義要提取的欄位:
class TencentItem(scrapy.Item):
name = scrapy.Field() # 招聘標題
address = scrapy.Field() # 工作地址
time = scrapy.Field() # 釋出時間
job_content = scrapy.Field() # 工作職責
4.3 使用BaseItem
BaseItem頂以後需要在爬蟲中匯入並且例項化,之後的使用方法和使用字典相同
from Tencent.items import TencentItem # 匯入Item,注意路徑
...
def parse_detail(self, response):
meta_dict = response.meta # 獲取傳入的meta
item = TencentItem() # 例項化後可直接使用
item['name'] = meta_dict['name']
item['address'] = meta_dict['address']
item['time'] = meta_dict['time']
# 加入崗位職責資料
item['job_content'] = response.xpath('//ul[@class="squareli"]/li/text()').extract()
print(item)
4.4 注意:
- from myspider.items import ItcastItem這一行程式碼中 注意item的正確匯入路徑,忽略pycharm標記的錯誤
- python中的匯入路徑要訣:從哪裡開始執行,就從哪裡開始匯入
參考程式碼
Tencent/spiders/tencent.py
import scrapy
from Tencent.items import TencentItem # 匯入Item,注意路徑
class TencentSpider(scrapy.Spider):
name = 'tencent'
allowed_domains = ['hr.tencent.com']
start_urls = ['http://hr.tencent.com/position.php']
def parse(self, response):
tr_list = response.xpath('//*[@class="tablelist"]//tr')[1:-1]
for tr in tr_list:
meta_dict = {}
meta_dict['name'] = tr.xpath('.//a[1]/text()').extract_first()
meta_dict['address'] = tr.xpath('./td[4]/text()').extract_first()
meta_dict['time'] = tr.xpath('./td[5]/text()').extract_first()
meta_dict['href'] = tr.xpath('.//a[1]/@href').extract_first()
detail_url = 'https://hr.tencent.com/' + meta_dict['href']
yield scrapy.Request(detail_url, callback=self.parse_detail, meta=meta_dict)
# 提取下一頁的href並拼接url
next_url = 'https://hr.tencent.com/' + response.xpath('//a[text()="下一頁"]/@href').extract_first()
# 判斷是否是最後一頁
if response.xpath('//a[text()="下一頁"]/@href').extract_first() != 'javascript:;':
# 構造scrapy.Request物件,並yield給引擎
# 利用callback引數指定該Request物件之後獲取的響應用哪個函式進行解析
# 利用meta引數將本函式中提取的資料傳遞給callback指定的函式
# 注意這裡是yield
yield scrapy.Request(next_url, callback=self.parse)
def parse_detail(self,response):
meta_dict = response.meta # 獲取傳入的meta
item = TencentItem() # 例項化後可直接使用
item['name'] = meta_dict['name']
item['address'] = meta_dict['address']
item['time'] = meta_dict['time']
# 加入崗位職責資料
item['job_content'] = response.xpath('//ul[@class="squareli"]/li/text()').extract()
print(item)
Tencent/items.py
import scrapy
class TencentItem(scrapy.Item):
name = scrapy.Field() # 招聘標題
address = scrapy.Field() # 工作地址
time = scrapy.Field() # 釋出時間
job_content = scrapy.Field() # 工作職責
Tencent/settings.py
USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36'
ROBOTSTXT_OBEY = False