在之前的文章我們通過 scrapy 框架 及 scrapy.Spider 類做了一個《糗事百科》的糗百爬蟲，本章我們再來看一下相較於 scrapy.Spider 類更為強大的 CrawlSpider 類。

CrawlSpider 是Spider的派生類，Spider 類的設計原則是隻爬取start_url列表中的網頁，而 CrawlSpider 類定義了一些規則 (rule) 來提供跟進link的方便的機制，從爬取的網頁中獲取link並繼續爬取的工作更適合。

原始碼參考

 1 class CrawlSpider(Spider):
 2     rules = ()
 3     def __init__(self, *a, **kw):
 4         super(CrawlSpider, self).__init__(*a, **kw)
 5         self._compile_rules()
 6 
 7     #首先呼叫parse()來處理start_urls中返回的response物件
 8     #parse()則將這些response物件傳遞給了_parse_response()函式處理，並設定回撥函式為parse_start_url()
 9     #設定了跟進標誌位True
10     #parse將返回item和跟進了的Request物件    
11     def parse(self, response):
12         return self._parse_response(response, self.parse_start_url, cb_kwargs={}, follow=True)
13 
14     #處理start_url中返回的response，需要重寫
15     def parse_start_url(self, response):
16         return []
17 
18     def process_results(self, response, results):
19         return results
20 
21     #從response中抽取符合任一使用者定義'規則'的連結，並構造成Resquest物件返回
22     def _requests_to_follow(self, response):
23         if not isinstance(response, HtmlResponse):
24             return
25         seen = set()
26         #抽取之內的所有連結，只要通過任意一個'規則'，即表示合法
27         for n, rule in enumerate(self._rules):
28             links = [l for l in rule.link_extractor.extract_links(response) if l not in seen]
29             #使用使用者指定的process_links處理每個連線
30             if links and rule.process_links:
31                 links = rule.process_links(links)
32             #將連結加入seen集合，為每個連結生成Request物件，並設定回撥函式為_repsonse_downloaded()
33             for link in links:
34                 seen.add(link)
35                 #構造Request物件，並將Rule規則中定義的回撥函式作為這個Request物件的回撥函式
36                 r = Request(url=link.url, callback=self._response_downloaded)
37                 r.meta.update(rule=n, link_text=link.text)
38                 #對每個Request呼叫process_request()函式。該函式預設為indentify，即不做任何處理，直接返回該Request.
39                 yield rule.process_request(r)
40 
41     #處理通過rule提取出的連線，並返回item以及request
42     def _response_downloaded(self, response):
43         rule = self._rules[response.meta['rule']]
44         return self._parse_response(response, rule.callback, rule.cb_kwargs, rule.follow)
45 
46     #解析response物件，會用callback解析處理他，並返回request或Item物件
47     def _parse_response(self, response, callback, cb_kwargs, follow=True):
48         #首先判斷是否設定了回撥函式。（該回調函式可能是rule中的解析函式，也可能是 parse_start_url函式）
49         #如果設定了回撥函式（parse_start_url()），那麼首先用parse_start_url()處理response物件，
50         #然後再交給process_results處理。返回cb_res的一個列表
51         if callback:
52             #如果是parse呼叫的，則會解析成Request物件
53             #如果是rule callback，則會解析成Item
54             cb_res = callback(response, **cb_kwargs) or ()
55             cb_res = self.process_results(response, cb_res)
56             for requests_or_item in iterate_spider_output(cb_res):
57                 yield requests_or_item
58 
59         #如果需要跟進，那麼使用定義的Rule規則提取並返回這些Request物件
60         if follow and self._follow_links:
61             #返回每個Request物件
62             for request_or_item in self._requests_to_follow(response):
63                 yield request_or_item
64 
65     def _compile_rules(self):
66         def get_method(method):
67             if callable(method):
68                 return method
69             elif isinstance(method, basestring):
70                 return getattr(self, method, None)
71 
72         self._rules = [copy.copy(r) for r in self.rules]
73         for rule in self._rules:
74             rule.callback = get_method(rule.callback)
75             rule.process_links = get_method(rule.process_links)
76             rule.process_request = get_method(rule.process_request)
77 
78     def set_crawler(self, crawler):
79         super(CrawlSpider, self).set_crawler(crawler)
80         self._follow_links = crawler.settings.getbool('CRAWLSPIDER_FOLLOW_LINKS', True)

CrawlSpider繼承於Spider類，除了繼承過來的屬性外（name、allow_domains），還提供了新的屬性和方法:

LinkExtractors

 from scrapy.linkextractors import LinkExtractor 

Link Extractors 的目的很簡單: 提取連結｡

每個LinkExtractor有唯一的公共方法是 extract_links()，它接收一個 Response 物件，並返回一個 scrapy.link.Link 物件。

Link Extractors要例項化一次，並且 extract_links 方法會根據不同的 response 呼叫多次提取連結｡

 1 class scrapy.linkextractors.LinkExtractor(
 2     allow = (),
 3     deny = (),
 4     allow_domains = (),
 5     deny_domains = (),
 6     deny_extensions = None,
 7     restrict_xpaths = (),
 8     tags = ('a','area'),
 9     attrs = ('href'),
10     canonicalize = True,
11     unique = True,
12     process_value = None
13 )

主要引數：

• allow：滿足括號中“正則表示式”的值會被提取，如果為空，則全部匹配。

• deny：與這個正則表示式(或正則表示式列表)不匹配的URL一定不提取。

• allow_domains：會被提取的連結的domains。

• deny_domains：一定不會被提取連結的domains。

• restrict_xpaths：使用xpath表示式，和allow共同作用過濾連結。

rules

在rules中包含一個或多個Rule物件，每個Rule對爬取網站的動作定義了特定操作。如果多個rule匹配了相同的連結，則根據規則在本集合中被定義的順序，第一個會被使用。

1 class scrapy.spiders.Rule(
2         link_extractor, 
3         callback = None, 
4         cb_kwargs = None, 
5         follow = None, 
6         process_links = None, 
7         process_request = None
8 )

• link_extractor：是一個Link Extractor物件，用於定義需要提取的連結。

• callback： 從link_extractor中每獲取到連結時，引數所指定的值作為回撥函式，該回調函式接受一個response作為其第一個引數。

  注意：當編寫爬蟲規則時，避免使用parse作為回撥函式。由於CrawlSpider使用parse方法來實現其邏輯，如果覆蓋了 parse方法，crawl spider將會執行失敗。

• follow：是一個布林(boolean)值，指定了根據該規則從response提取的連結是否需要跟進。 如果callback為None，follow 預設設定為True ，否則預設為False。

• process_links：指定該spider中哪個的函式將會被呼叫，從link_extractor中獲取到連結列表時將會呼叫該函式。該方法主要用來過濾。

• process_request：指定該spider中哪個的函式將會被呼叫， 該規則提取到每個request時都會呼叫該函式。 (用來過濾request)

接下來我們就按上面所說的內容將之前的糗百爬蟲做一下修改，我們將 qiubaiSpider.py 的程式碼改為如下：

 1 import scrapy
 2 # 匯入CrawlSpider類和Rule
 3 from scrapy.spiders import CrawlSpider, Rule
 4 # 匯入連結規則匹配類，用來提取符合規則的連線
 5 from scrapy.linkextractors import LinkExtractor
 6 from ..items import QiushiItem
 7 
 8 
 9 class QiushiSpider(CrawlSpider):
10     # 爬蟲名
11     name = "qiubai"
12     # 允許爬蟲作用的範圍，不能越界
13     allowd_domains = ["https://www.qiushibaike.com/"]
14     # 爬蟲起始url
15     start_urls = ["https://www.qiushibaike.com/text/page/1/"]
16     # Response 裡連結的提取規則，返回的符合匹配規則的連結匹配物件的列表
17     pageLink = LinkExtractor(allow=("/page/\d+"))
18     # 獲取這個列表裡的連結，依次傳送請求，並且繼續跟進，呼叫指定回撥函式處理
19     rules = [
20         Rule(pageLink, callback="parseContent", follow=True)
21     ]
22 
23     # 指定的回撥函式
24     def parseContent(self, response):
25         # 通過 scrayy 自帶的 xpath 匹配想要的資訊
26         qiushi_list = response.xpath('//div[contains(@id,"qiushi_tag")]')
27         for site in qiushi_list:
28             # 例項化從 items.py 匯入的 QiushiItem 類
29             item = QiushiItem()
30             # 根據查詢發現匿名使用者和非匿名使用者的標籤不一樣
31             try:
32                 # 非匿名使用者
33                 username = site.xpath('./div/a/img/@alt')[0].extract()  # 作者
34                 imgUrl = site.xpath('./div/a/img/@src')[0].extract()  # 頭像
35             except Exception:
36                 # 匿名使用者
37                 username = site.xpath('./div/span/img/@alt')[0].extract()  # 作者
38                 imgUrl = site.xpath('./div/span/img/@src')[0].extract()  # 頭像
39             content = site.xpath('.//div[@class="content"]/span[1]/text()').extract()
40             item['username'] = username
41             item['imgUrl'] = "https:" + imgUrl
42             item['content'] = content
43 
44             # 將獲取的資料交給 pipeline 管道檔案
45             yield item

在控制檯或終端輸入  scrapy crawl qiubai  即可執行程式並獲取糗百資料。

需要注意的是在 rule 規則中的 callback 千萬不能寫 parse，因為 CrawlSpider 使用 parse 方法來實現其邏輯，如果覆蓋了 parse方法，crawl spider將會執行失敗。

&n