引入

在通過scrapy框架進行某些網站資料爬取的時候，往往會碰到頁面動態資料載入的情況發生，如果直接使用scrapy對其url發請求，是絕對獲取不到那部分動態加載出來的資料值。但是通過觀察我們會發現，通過瀏覽器進行url請求傳送則會加載出對應的動態加載出的資料。那麼如果我們想要在scrapy也獲取動態加載出的資料，則必須使用selenium建立瀏覽器物件，然後通過該瀏覽器物件進行請求傳送，獲取動態載入的資料值。

1.案例分析：

- 需求：爬取網易新聞的國內、國際、軍事、無人機板塊下的新聞資料

- 需求分析：當點選國內超鏈進入國內對應的頁面時，會發現當前頁面展示的新聞資料是被動態加載出來的，如果直接通過程式對url進行請求，是獲取不到動態加載出的新聞資料的。則需要我們使用selenium例項化一個瀏覽器物件，在該物件中進行url的請求，獲取動態載入的新聞資料。

2.selenium在scrapy中使用的原理分析：

當引擎將國內板塊url對應的請求提交給下載器後，下載器進行網頁資料的下載，然後將下載到的頁面資料，封裝到response中，提交給引擎，引擎將response再轉交給Spiders。Spiders接受到的response物件中儲存的頁面資料裡是沒有動態載入的新聞資料的。要想獲取動態載入的新聞資料，則需要在下載中介軟體中對下載器提交給引擎的response響應物件進行攔截，切對其內部儲存的頁面資料進行篡改，修改成攜帶了動態加載出的新聞資料，然後將被篡改的response物件最終交給Spiders進行解析操作。

3.selenium在scrapy中的使用流程：

• 重寫爬蟲檔案的構造方法，在該方法中使用selenium例項化一個瀏覽器物件（因為瀏覽器物件只需要被例項化一次）
• 重寫爬蟲檔案的closed(self,spider)方法，在其內部關閉瀏覽器物件。該方法是在爬蟲結束時被呼叫
• 重寫下載中介軟體的process_response方法，讓該方法對響應物件進行攔截，並篡改response中儲存的頁面資料
• 在配置檔案中開啟下載中介軟體

4.例項：

# 1.spider檔案

import scrapy
from wangyiPro.items import WangyiproItem
from selenium import webdriver

class WangyiSpider(scrapy.Spider):
  name = 'wangyi'
  # allowed_domains = ['www.xxx.con']
  start_urls = ['https://news.163.com/']
  # 瀏覽器例項化的操作只會被執行一次
  bro = webdriver.Chrome(executable_path='chromedriver.exe')

  urls = []# 最終存放的就是5個板塊對應的url

  def parse(self,response):
    li_list = response.xpath('//*[@id="index2016_wrap"]/div[1]/div[2]/div[2]/div[2]/div[2]/div/ul/li')
    for index in [3,4,6,7,8]:
      li = li_list[index]
      new_url = li.xpath('./a/@herf').extract_first()
      self.urls.append(new_url)

      # 對5大板塊對應的url進行請求傳送
      yield scrapy.Request(url=new_url,callback=self.parse_news)

  # 用來解析每一個板塊對應的新聞資料【只能解析到新聞的標題】
  def parse_news(self,response):
    div_list = response.xpath('//div[@class="ndi_main"]/div')
    for div in div_list:
      title = div.xpath('./div/div[1]/h3/a/text()').extract_first()
      news_detail_url = div.xpath('./div/div[1]/h3/a/@href').extract_first()
      # 例項化item物件，將解析到的標題和內容儲存到item物件中
      item = WangyiproItem()
      item['title'] = title
      # 對詳情頁的url進行手動請求傳送獲得新聞內容
      yield scrapy.Request(url=news_detail_url,callback=self.parse_detail,meta={'item':item})

  def parse_detail(self,response):
    item = response.meta['item']
    # 通過response解析出新聞內容
    content = response.xpath('//div[@id="endText"]//text()').extract()
    content = ''.join(content)

    item['content'] = content
    yield item

  def close(self,spider):
    # 當爬蟲結束之後，呼叫關閉瀏覽器方法
    print('爬蟲整體結束~~~~~~~~~~~~~~~~~~~')
    self.bro.quit()
----------------------------------------------------------------------------------------
# 2.items檔案

import scrapy

class WangyiproItem(scrapy.Item):
  # define the fields for your item here like:
  # name = scrapy.Field()
  title = scrapy.Field()
  content = scrapy.Field()
----------------------------------------------------------------------------------------
# 3.middlewares檔案

from scrapy import signals
from scrapy.http import HtmlResponse
from time import sleep

class WangyiproDownloaderMiddleware(object):

  def process_request(self,request,spider):
    return None

  def process_response(self,response,spider):
    # 判斷哪些響應物件是5個板塊的，如果在就對響應物件進行處理
    if response.url in spider.urls:
      # 獲取在爬蟲類中定義好的瀏覽器
      bro = spider.bro
      bro.get(response.url)

      bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')
      sleep(1)
      bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')
      sleep(1)

      # 獲取攜帶了新聞資料的頁面原始碼資料
      page_text = bro.page_source
      # 例項化一個新的響應物件
      new_response = HtmlResponse(url=response.url,body=page_text,encoding='utf-8',request=request)
      return new_response
    else:
      return response

  def process_exception(self,exception,spider):
    pass
----------------------------------------------------------------------------------------
# 4.pipelines檔案

class WangyiproPipeline(object):
  def process_item(self,item,spider):
    print(item)
    return item
----------------------------------------------------------------------------------------
# 5.setting檔案
BOT_NAME = 'wangyiPro'

SPIDER_MODULES = ['wangyiPro.spiders']
NEWSPIDER_MODULE = 'wangyiPro.spiders'

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/76.0.3809.132 Safari/537.36'

ROBOTSTXT_OBEY = False

DOWNLOADER_MIDDLEWARES = {
  'wangyiPro.middlewares.WangyiproDownloaderMiddleware': 543,}

ITEM_PIPELINES = {
  'wangyiPro.pipelines.WangyiproPipeline': 300,}

LOG_LEVEL = 'ERROR'

以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。