爬蟲學習之基於 Scrapy 的爬蟲自動登入

概述

在前面兩篇（爬蟲學習之基於Scrapy的網路爬蟲和爬蟲學習之簡單的網路爬蟲）文章中我們通過兩個實際的案例，採用不同的方式進行了內容提取。我們對網路爬蟲有了一個比較初級的認識，只要發起請求獲取響應的網頁內容，然後對內容進行格式化儲存。很多時候我們抓取到的內容可能會發生重複，也有可能是需要計算或者組織過的全新的內容甚至是需要登入後才能訪問的內容，那麼這一篇我們來學習一下Scrapy的Item部分以及瞭解如何使用Scrapy來進行自動登入。

起步

首先我們使用Scrapy的命令列建立一個新的專案

scrapy startproject douban

1	scrapy startproject douban

執行後，我們就有了下面這樣的目錄結構

+ douban                               # 根目錄
    |- douban                          # Python的專案目錄
        |- spiders                     # 爬蟲Spider部分，用於提取網頁內容
            |- __init__.py
        |- __init__.py
        |- items.py                    # 爬蟲item， 用於定義資料結構
        |- pipelines.py                # 爬蟲pipeline，用於處理提取的結構，比如清洗資料、去重等
        |- settings.py                 # Scrapy框架引數專案引數設定
    |- scrapy.cfg                      # 爬蟲部署相關設定

123456789

Scrapy為我們生成了已經組織好的目錄結構，上面的註釋部分解釋了每個檔案及目錄的作用。

建立目標

本篇我們來建立兩個目標，這兩個目標都是基於豆瓣網：

目標一：抓取豆瓣TOP250的圖書資訊並儲存成csv檔案
目標二：抓取我的第一頁豆郵標題（需要登入），並儲存成csv檔案

分析目標一

目標一是豆瓣的TOP250圖書資訊，首先我們進入到TOP250的列表(https://book.douban.com/top250) ，我用圖示圈出我們這次要爬取的內容，具體請看圖示：

從圖上的框線中我們主要圈出了書名、價格、出版年份、出版社、評分，其中出版年份，出版社以及價格是在一行中，這個我們需要進一步處理。

分頁的處理：總記錄是250條，每頁是25條圖書資訊，共分了10頁。

實現目標一

需要用到的概念：

Item
Item Pipeline

首先建立Scrapy的Item， Scrapy的Item就是我們需要儲存的資料結構，先修改items, 然後在spiders目錄中新建一個名為bookspider.py的Python檔案，由於我們需要在一堆字串中提取出出版社和價格等資訊所以我們這裡需要對抓取的內容進一步處理，在這之前還需要修改settings.py檔案：

加入faker的模擬USER_AGENT資料防止被豆瓣遮蔽，
也可以設定DEFAULT_REQUEST_HEADERS引數。
修改ITEM_PIPELINES

程式碼如下所示：

items.py

# -*- coding: utf-8 -*-
'''by sudo rm -rf http://imchenkun.com'''
import scrapy


class DoubanBookItem(scrapy.Item):
    name = scrapy.Field()            # 書名
    price = scrapy.Field()           # 價格
    edition_year = scrapy.Field()    # 出版年份
    publisher = scrapy.Field()       # 出版社
    ratings = scrapy.Field()         # 評分

1234567891011

# -*- coding: utf-8 -*-'''by sudo rm -rf http://imchenkun.com'''import scrapyclassDoubanBookItem(scrapy.Item):name=scrapy.Field()# 書名price=scrapy.Field()# 價格edition_year=scrapy.Field()# 出版年份publisher=scrapy.Field()# 出版社ratings=scrapy.Field()# 評分

bookspider.py

# -*- coding:utf-8 -*-
'''by sudo rm -rf http://imchenkun.com'''
import scrapy
from douban.items import DoubanBookItem


class BookSpider(scrapy.Spider):
    name = 'douban-book'
    allowed_domains = ['douban.com']
    start_urls = [
        'https://book.douban.com/top250'
    ]

    def parse(self, response):
        # 請求第一頁
        yield scrapy.Request(response.url, callback=self.parse_next)

        # 請求其它頁
        for page in response.xpath('//div[@class="paginator"]/a'):
            link = page.xpath('@href').extract()[0]
            yield scrapy.Request(link, callback=self.parse_next)

    def parse_next(self, response):
        for item in response.xpath('//tr[@class="item"]'):
            book = DoubanBookItem()
            book['name'] = item.xpath('td[2]/div[1]/a/@title').extract()[0]
            book['price'] = item.xpath('td[2]/p/text()').extract()[0]
            book['ratings'] = item.xpath('td[2]/div[2]/span[2]/text()').extract()[0]
            yield book

1234567891011121314151617181920212223242526272829

# -*- coding:utf-8 -*-'''by sudo rm -rf http://imchenkun.com'''import scrapyfrom douban.items import DoubanBookItemclassBookSpider(scrapy.Spider):name='douban-book'allowed_domains=['douban.com']start_urls=['https://book.douban.com/top250']def parse(self,response):# 請求第一頁yield scrapy.Request(response.url,callback=self.parse_next)# 請求其它頁forpage inresponse.xpath('//div[@class="paginator"]/a'):link=page.xpath('@href').extract()[0]yield scrapy.Request(link,callback=self.parse_next)def parse_next(self,response):foritem inresponse.xpath('//tr[@class="item"]'):book=DoubanBookItem()book['name']=item.xpath('td[2]/div[1]/a/@title').extract()[0]book['price']=item.xpath('td[2]/p/text()').extract()[0]book['ratings']=item.xpath('td[2]/div[2]/span[2]/text()').extract()[0]yield book

pipelines.py

# -*- coding: utf-8 -*-
'''by sudo rm -rf http://imchenkun.com'''


class DoubanBookPipeline(object):
    def process_item(self, item, spider):
        info = item['price'].split(' / ')  # [法] 聖埃克蘇佩裡 / 馬振聘 / 人民文學出版社 / 2003-8 / 22.00元
        item['name'] = item['name']
        item['price'] = info[-1]
        item['edition_year'] = info[-2]
        item['publisher'] = info[-3]
        return item

123456789101112

# -*- coding: utf-8 -*-'''by sudo rm -rf http://imchenkun.com'''classDoubanBookPipeline(object):def process_item(self,item,spider):info=item['price'].split(' / ')# [法] 聖埃克蘇佩裡 / 馬振聘 / 人民文學出版社 / 2003-8 / 22.00元item['name']=item['name']item['price']=info[-1]item['edition_year']=info[-2]item['publisher']=info[-3]returnitem

最後我們到douban的根目錄中執行以下命令來執行爬蟲來執行並匯出資料到csv檔案

scrapy crawl douban-book -o douban_book_top250.csv

1	scrapy crawl douban-book-odouban_book_top250.csv

csv檔案截圖如下：

分析目標二

目標二是建立在理解了目標一的基礎上進行的，因為豆瓣登入次數過多會有驗證碼出現，這裡提供一種手工填寫驗證碼的方式，暫時不討論如何去識別驗證碼，目標二的核心概念是如何提交POST表單和登入成功後帶Cookie的請求。首先我們可以看到頁面結構如下圖所示：

實現目標二

定義Item

# -*- coding: utf-8 -*-import scrapy
'''by sudo rm -rf  http://imchenkun.com'''


class DoubanMailItem(scrapy.Item):
    sender_time = scrapy.Field()     # 傳送時間
    sender_from = scrapy.Field()     # 傳送人
    url = scrapy.Field()             # 豆郵詳細地址
    title = scrapy.Field()           # 豆郵標題

123456789

# -*- coding: utf-8 -*-import scrapy'''by sudo rm -rf http://imchenkun.com'''classDoubanMailItem(scrapy.Item):sender_time=scrapy.Field()# 傳送時間sender_from=scrapy.Field()# 傳送人url=scrapy.Field()# 豆郵詳細地址title=scrapy.Field()# 豆郵標題

定義doumailspider

# -*- coding:utf-8 -*-
'''by sudo rm -rf  http://imchenkun.com'''
import scrapy
from faker import Factory
from douban.items import DoubanMailItem
import urlparse

f = Factory.create()


class MailSpider(scrapy.Spider):
    name = 'douban-mail'
    allowed_domains = ['accounts.douban.com', 'douban.com']
    start_urls = [
        'https://www.douban.com/'
    ]
    headers = {
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
        'Accept-Encoding': 'gzip, deflate, br',
        'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
        'Connection': 'keep-alive',
        'Host': 'accounts.douban.com',
        'User-Agent': f.user_agent()
    }

    formdata = {
        'form_email': '您的賬號',
        'form_password': '您的密碼',
        # 'captcha-solution': '',
        # 'captcha-id': '',
        'login': '登入',
        'redir': 'https://www.douban.com/',
        'source': 'None'
    }

    def start_requests(self):
        return [scrapy.Request(url='https://www.douban.com/accounts/login',
                               headers=self.headers,
                               meta={'cookiejar': 1},
                               callback=self.parse_login)]

    def parse_login(self, response):
        # 如果有驗證碼要人為處理
        if 'captcha_image' in response.body:
            print 'Copy the link:'
            link = response.xpath('//img[@class="captcha_image"]/@src').extract()[0]
            print link
            captcha_solution = raw_input('captcha-solution:')
            captcha_id = urlparse.parse_qs(urlparse.urlparse(link).query, True)['id']
            self.formdata['captcha-solution'] = captcha_solution
            self.formdata['captcha-id'] = captcha_id
        return [scrapy.FormRequest.from_response(response,
                                                 formdata=self.formdata,
                                                 headers=self.headers,
                                                 meta={'cookiejar': response.meta['cookiejar']},
                                                 callback=self.after_login
                                                 )]

    def after_login(self, response):
        print response.status
        self.headers['Host'] = "www.douban.com"
        return scrapy.Request(url='https://www.douban.com/doumail/',
                              meta={'cookiejar': response.meta['cookiejar']},
                              headers=self.headers,
                              callback=self.parse_mail)

    def parse_mail(self, response):
        print response.status
        for item in response.xpath('//div[@class="doumail-list"]/ul/li'):
            mail = DoubanMailItem()
            mail['sender_time'] = item.xpath('div[2]/div/span[1]/text()').extract()[0]
            mail['sender_from'] = item.xpath('div[2]/div/span[2]/text()').extract()[0]
            mail['url'] = item.xpath('div[2]/p/a/@href').extract()[0]
            mail['title'] = item.xpath('div[2]/p/a/text()').extract()[0]
            print mail
            yield mail

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576

# -*- coding:utf-8 -*-'''by sudo rm -rf http://imchenkun.com'''import scrapyfrom faker import Factoryfrom douban.items import DoubanMailItemimport urlparsef=Factory.create()classMailSpider(scrapy.Spider):name='douban-mail'allowed_domains=['accounts.douban.com','douban.com']start_urls=['https://www.douban.com/']headers={'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8','Accept-Encoding':'gzip, deflate, br','Accept-Language':'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3','Connection':'keep-alive','Host':'accounts.douban.com','User-Agent':f.user_agent()}formdata={'form_email':'您的賬號','form_password':'您的密碼',# 'captcha-solution': '',# 'captcha-id': '','login':'登入','redir':'https://www.douban.com/','source':'None'}def start_requests(self):return[scrapy.Request(url='https://www.douban.com/accounts/login',headers=self.headers,meta={'cookiejar':1},callback=self.parse_login)]def parse_login(self,response):# 如果有驗證碼要人為處理if'captcha_image'inresponse.body:print'Copy the link:'link=response.xpath('//img[@class="captcha_image"]/@src').extract()[0]print linkcaptcha_solution=raw_input('captcha-solution:')captcha_id=urlparse.parse_qs(urlparse.urlparse(link).query,True)['id']self.formdata['captcha-solution']=captcha_solutionself.formdata['captcha-id']=captcha_idreturn[scrapy.FormRequest.from_response(response,formdata=self.formdata,headers=self.headers,meta={'cookiejar':response.meta['cookiejar']},callback=self.after_login)]def after_login(self,response):print response.statusself.headers['Host']="www.douban.com"returnscrapy.Request(url='https://www.douban.com/doumail/',meta={'cookiejar':response.meta['cookiejar']},

爬蟲學習之基於 Scrapy 的爬蟲自動登入

起步

建立目標

分析目標一

實現目標一

分析目標二

實現目標二

爬蟲學習之基於 Scrapy 的爬蟲自動登入

爬蟲學習之基於Scrapy的網路爬蟲

python3 + Scrapy爬蟲學習之創建項目

python爬蟲學習之路-遇錯筆記-1

爬蟲學習之-xpath

爬蟲學習之-python插入mysql報錯

爬蟲學習之-返回合法文件名

爬蟲學習之-文件管道重寫

如何學習爬蟲,我的爬蟲學習之路,怎樣學好爬蟲的,爬蟲認知篇（1）

python爬蟲學習之爬取全國各省市縣級城市郵政編碼

Python爬蟲學習之正則表達式爬取個人博客

【Python3 爬蟲學習筆記】Scrapy框架的使用 1

python爬蟲學習之正則表示式的基本使用

python爬蟲學習之日誌記錄模組

python學習之簡單python爬蟲

python爬蟲學習之定向爬取股票資訊

網頁爬蟲學習之獲取網頁中標籤內容

python爬蟲學習之XPath基本語法

python爬蟲學習之urllib庫

爬蟲學習之17：爬取拉勾網網招聘資訊（非同步載入+Cookie模擬登陸）

爬蟲學習之基於 Scrapy 的爬蟲自動登入

起步

建立目標

分析目標一

實現目標一

分析目標二

實現目標二

相關推薦