1.先指定通用模板

url = 'https://www.qiushibaike.com/text/page/%d/'#通用的url模板
pageNum = 1

2.對parse方法遞迴處理

parse第一次呼叫表示的是用來解析第一頁對應頁面中的資料

對後面的頁碼的資料要進行手動傳送

if self.pageNum <= 5:
  self.pageNum += 1
  new_url = format(self.url%self.pageNum)
  #手動請求(get)的傳送
  yield scrapy.Request(new_url,callback=self.parse)

完整示例

class QiubaiSpider(scrapy.Spider):
  name = 'qiubai'
  # allowed_domains = ['www.xxx.com']
  start_urls = ['https://www.qiushibaike.com/text/']
  
  url = 'https://www.qiushibaike.com/text/page/%d/'#通用的url模板
  pageNum = 1
  #parse第一次呼叫表示的是用來解析第一頁對應頁面中的段子內容和作者
  def parse(self,response):
    div_list = response.xpath('//*[@id="content-left"]/div')
    all_data = []
    for div in div_list:
      author = div.xpath('./div[1]/a[2]/h2/text()').extract_first()
      
      content = div.xpath('./a[1]/div/span//text()').extract()
      content = ''.join(content)

      # 將解析的資料儲存到item物件
      item = QiubaiproItem()
      item['author'] = author
      item['content'] = content

      # 將item提交給管道
      yield item # item一定是提交給了優先順序最高的管道類

    if self.pageNum <= 5:
      self.pageNum += 1
      new_url = format(self.url%self.pageNum)
      #手動請求(get)的傳送
      yield scrapy.Request(new_url,callback=self.parse)

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。