2. 程式人生 > >初窺Scrapy

初窺Scrapy

阿新 • • 發佈：2018-12-05

初窺Scrapy

Scrapy是一個為了爬取網站資料，提取結構性資料而編寫的應用框架。 可以應用在包括資料探勘，資訊處理或儲存歷史資料等一系列的程式中。

其最初是為了 網路抓取 所設計的， 也可以應用在獲取API所返回的資料(例如 Amazon Associates Web Services 或者通用的網路爬蟲。

Scrapy 使用了 Twisted非同步網路庫來處理網路通訊。整體架構大致如下
Scrpy原理

Scrapy主要包括了以下元件：

  • 引擎(Scrapy) ：用來處理整個系統的資料流, 觸發事務(框架核心)
  • 排程器(Scheduler)
    ：用來接受引擎發過來的請求, 壓入佇列中, 並在引擎再次請求的時候返回. 可以想像成一個URL（抓取網頁的網址或者說是連結）的優先佇列, 由它來決定下一個要抓取的網址是什麼, 同時去除重複的網址
  • 下載器(Downloader) ：用於下載網頁內容, 並將網頁內容返回給蜘蛛(Scrapy下載器是建立在twisted這個高效的非同步模型上的)
  • 爬蟲(Spiders) ：爬蟲是主要幹活的, 用於從特定的網頁中提取自己需要的資訊, 即所謂的實體(Item)。使用者也可以從中提取出連結,讓Scrapy繼續抓取下一個頁面
  • 專案管道(Pipeline) ：負責處理爬蟲從網頁中抽取的實體，主要的功能是持久化實體、驗證實體的有效性、清除不需要的資訊。當頁面被爬蟲解析後，將被髮送到專案管道，並經過幾個特定的次序處理資料。
  • 下載器中介軟體(Downloader Middlewares) ：位於Scrapy引擎和下載器之間的框架，主要是處理Scrapy引擎與下載器之間的請求及響應。
  • 爬蟲中介軟體(Spider Middlewares) ：介於Scrapy引擎和爬蟲之間的框架，主要工作是處理蜘蛛的響應輸入和請求輸出。
  • 排程中介軟體(Scheduler Middewares) ：介於Scrapy引擎和排程之間的中介軟體，從Scrapy引擎傳送到排程的請求和響應。

Scrapy執行流程大概如下：

  1. 引擎從排程器中取出一個連結(URL)用於接下來的抓取
  2. 引擎把URL封裝成一個請求(Request)傳給下載器
  3. 下載器把資源下載下來，並封裝成應答包(Response)
  4. 爬蟲解析Response
  5. 解析出實體（Item）,則交給實體管道進行進一步的處理
  6. 解析出的是連結（URL）,則把URL交給排程器等待抓取

搭建Scrapy環境

新建虛擬環境

python3 -m venv /data/code/python/venv/venv_Scrapy

升級pip

/data/code/python/venv/venv_Scrapy/bin/pip3 install --upgrade pip

pip安裝Scrapy

/data/code/python/venv/venv_Scrapy/bin/pip3 install Scrapy

建立專案

新建Scrapy專案tutorial

#進入虛擬環境
cd /data/code/python/venv/venv_Scrapy/
#新建專案tutorial
./bin/python3  ./bin/scrapy startproject tutorial

tutorial專案結構

tutorial/
├── tutorial
│   ├── __init__.py
│   ├── items.py
│   ├── middlewares.py
│   ├── pipelines.py
│   ├── settings.py
│   └── spiders
│       └── __init__.py
└── scrapy.cfg

其中：

genspider命令新建爬蟲

genspider語法

  • 語法: scrapy genspider [-t template] <name> <domain>

新建百度爬蟲

#進入虛擬環境
cd /data/code/python/venv/venv_Scrapy/
#新建百度爬蟲
../bin/python3 ../bin/scrapy genspider -t basic baidu_search www.baidu.com

baidu_search.py

# -*- coding: utf-8 -*-
import scrapy


class BaiduSearchSpider(scrapy.Spider):
    name = 'baidu_search'
    allowed_domains = ['www.baidu.com']
    start_urls = ['http://www.baidu.com/']

    def parse(self, response):
        pass

scrapy.Spider

class scrapy.spiders.Spider

Spider是最簡單的spider。每個其他的spider必須繼承自該類(包括Scrapy自帶的其他spider以及您自己編寫的spider)。 Spider並沒有提供什麼特殊的功能。 其僅僅提供了 start_requests()的預設實現，讀取並請求spider屬性中的 start_urls, 並根據返回的結果(resulting responses)呼叫spider的 parse方法。

  • name
    定義spider名字的字串(string)。spider的名字定義了Scrapy如何定位(並初始化)spider，所以其必須是唯一的。 不過您可以生成多個相同的spider例項(instance)，這沒有任何限制。 name是spider最重要的屬性，而且是必須的。
    如果該spider爬取單個網站(single domain)，一個常見的做法是以該網站(domain)(加或不加 字尾 )來命名spider。 例如，如果spider爬取 mywebsite.com ，該spider通常會被命名為 mywebsite 。

  • allowed_domains
    可選。包含了spider允許爬取的域名(domain)列表(list)。 當 OffsiteMiddleware 啟用時， 域名不在列表中的URL不會被跟進。

  • start_urls
    URL列表。當沒有指定特定的URL時，spider將從該列表中開始進行爬取。 因此，第一個被獲取到的頁面的URL將是該列表之一。 後續的URL將會從獲取到的資料中提取。

crawl開始爬蟲

  • 語法: scrapy crawl <spider>
#進入虛擬環境
cd /data/code/python/venv/venv_Scrapy/
#crawl開始爬蟲
../bin/python3 ../bin/scrapy crawl baidu_search

Forbidden by robots.txt

2018-12-05 13:15:04 [scrapy.utils.log] INFO: Scrapy 1.5.1 started (bot: tutorial)
2018-12-05 13:15:04 [scrapy.utils.log] INFO: Versions: lxml 4.2.5.0, libxml2 2.9.8, cssselect 1.0.3, parsel 1.5.1, w3lib 1.19.0, Twisted 18.9.0, Python 3.7.0 (v3.7.0:1bf9cc5093, Jun 26 2018, 23:26:24) - [Clang 6.0 (clang-600.0.57)], pyOpenSSL 18.0.0 (OpenSSL 1.1.0j  20 Nov 2018), cryptography 2.4.2, Platform Darwin-16.7.0-x86_64-i386-64bit
2018-12-05 13:15:04 [scrapy.crawler] INFO: Overridden settings: {'BOT_NAME': 'tutorial', 'DUPEFILTER_CLASS': 'scrapy_splash.SplashAwareDupeFilter', 'HTTPCACHE_STORAGE': 'scrapy_splash.SplashAwareFSCacheStorage', 'NEWSPIDER_MODULE': 'tutorial.spiders', 'ROBOTSTXT_OBEY': True, 'SPIDER_MODULES': ['tutorial.spiders']}
2018-12-05 13:15:04 [scrapy.middleware] INFO: Enabled extensions:
['scrapy.extensions.corestats.CoreStats',
 'scrapy.extensions.telnet.TelnetConsole',
 'scrapy.extensions.memusage.MemoryUsage',
 'scrapy.extensions.logstats.LogStats']
2018-12-05 13:15:04 [scrapy.middleware] INFO: Enabled downloader middlewares:
['scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware',
 'scrapy.downloadermiddlewares.httpauth.HttpAuthMiddleware',
 'scrapy.downloadermiddlewares.downloadtimeout.DownloadTimeoutMiddleware',
 'scrapy.downloadermiddlewares.defaultheaders.DefaultHeadersMiddleware',
 'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware',
 'scrapy.downloadermiddlewares.retry.RetryMiddleware',
 'scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware',
 'scrapy.downloadermiddlewares.redirect.RedirectMiddleware',
 'scrapy.downloadermiddlewares.cookies.CookiesMiddleware',
 'scrapy_splash.SplashCookiesMiddleware',
 'scrapy_splash.SplashMiddleware',
 'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware',
 'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware',
 'scrapy.downloadermiddlewares.stats.DownloaderStats']
2018-12-05 13:15:04 [scrapy.middleware] INFO: Enabled spider middlewares:
['scrapy.spidermiddlewares.httperror.HttpErrorMiddleware',
 'scrapy_splash.SplashDeduplicateArgsMiddleware',
 'scrapy.spidermiddlewares.offsite.OffsiteMiddleware',
 'scrapy.spidermiddlewares.referer.RefererMiddleware',
 'scrapy.spidermiddlewares.urllength.UrlLengthMiddleware',
 'scrapy.spidermiddlewares.depth.DepthMiddleware']
2018-12-05 13:15:04 [scrapy.middleware] INFO: Enabled item pipelines:
['tutorial.pipelines.QQVideoCommentPipeline']
2018-12-05 13:15:04 [scrapy.core.engine] INFO: Spider opened
2018-12-05 13:15:04 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2018-12-05 13:15:04 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2018-12-05 13:15:04 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.baidu.com/robots.txt> (referer: None)
2018-12-05 13:15:04 [scrapy.downloadermiddlewares.robotstxt] DEBUG: Forbidden by robots.txt: <GET http://www.baidu.com/>
2018-12-05 13:15:05 [scrapy.core.engine] INFO: Closing spider (finished)
2018-12-05 13:15:05 [scrapy.statscollectors] INFO: Dumping Scrapy stats:
{'downloader/exception_count': 1,
 'downloader/exception_type_count/scrapy.exceptions.IgnoreRequest': 1,
 'downloader/request_bytes': 281,
 'downloader/request_count': 1,
 'downloader/request_method_count/GET': 1,
 'downloader/response_bytes': 677,
 'downloader/response_count': 1,
 'downloader/response_status_count/200': 1,
 'finish_reason': 'finished',
 'finish_time': datetime.datetime(2018, 12, 5, 5, 15, 5, 55729),
 'log_count/DEBUG': 3,
 'log_count/INFO': 7,
 'memusage/max': 53755904,
 'memusage/startup': 53755904,
 'response_received_count': 1,
 'scheduler/dequeued': 1,
 'scheduler/dequeued/memory': 1,
 'scheduler/enqueued': 1,
 'scheduler/enqueued/memory': 1,
 'start_time': datetime.datetime(2018, 12, 5, 5, 15, 4, 737516)}
2018-12-05 13:15:05 [scrapy.core.engine] INFO: Spider closed (finished)

首次開啟爬蟲，可能會遇到Forbidden by robots.txt

robots協議

Robots協議（也稱為爬蟲協議、機器人協議等）的全稱是“網路爬蟲排除標準”（Robots Exclusion Protocol），網站通過Robots協議告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取。

訪問一下 https://www.baidu.com/robots.txt
最後我們可以看見

.....
User-agent: *
Disallow: /

簡單來說，就是百度禁止一切爬蟲。當然，尊不遵守君子協定就看你個人了。我們這裡先到 settings.py 禁止掉

ROBOTSTXT_OBEY

編輯 settings.py 修改以下設定

# Obey robots.txt rules
ROBOTSTXT_OBEY = False

爬取百度首頁

這裡我們修改 baidu_search.py 列印百度首頁

# -*- coding: utf-8 -*-
import scrapy


class BaiduSearchSpider(scrapy.Spider):
    name = 'baidu_search_'
    allowed_domains = ['www.baidu.com']
    start_urls = ['http://www.baidu.com/']

    def parse(self, response):
        print(response.text)

再次執行,就可以看到我們已經拿到了百度的首頁了

../bin/python3 ../bin/scrapy crawl baidu_search

附錄

Scrapy 1.0 文件

GitHub原始碼

相關推薦

初窺Scrapy

初窺Scrapy 搭建Scrapy環境 新建虛擬環境 升級pip pip安裝Scrapy 建立專案 新建Scrapy專案tutorial tutorial專案結構 genspider命令

scrapy 1.5 第一篇 初窺scrapy

    我想要在開始之前先和閱讀這篇文章的朋友們說上幾句話。首先，這篇文章內，我挑選一部分官方文件中重要的內容進行翻譯。其次，我本人的英語水平和程式設計水平也屬於渣渣中的渣渣，有什麼問題，請務必在評論中指出。    一、如何開始你的第一個scrapy專案？        在你

《零基礎入門學習Python》第063講：論一隻爬蟲的自我修養11：Scrapy框架之初窺門徑

上一節課我們好不容易裝好了 Scrapy，今天我們就來學習如何用好它，有些同學可能會有些疑惑，既然我們懂得了Python編寫爬蟲的技巧，那要這個所謂的爬蟲框架又有什麼用呢？其實啊，你懂得Python寫爬蟲的程式碼，好比你懂武功，會打架，但行軍打仗你不行，畢竟敵人是千軍萬馬，縱使你再強，

Python爬蟲（入門+進階）學習筆記 2-1 爬蟲工程化及Scrapy框架初窺

本章節將會系統地介紹如何通過Scrapy框架把爬蟲工程化。本節主要內容是：簡單介紹Python和爬蟲的關係，以及將要使用的Scrapy框架的工作流程。Python適合做爬蟲的原因語言本身簡單，適合敏捷開發有比較完善的工具鏈足夠靈活，以應對各種突然狀況爬蟲的知識體系前端相關知識：html，css，js；瀏覽器相

初窺ElasticSearch

下載 json數據包 com function learn 按順序 模糊搜索 搜索範圍 last 初窺ElasticSearch 官網上面的，不知道講的是什麽。。 youtube上面有一個start with，內容是在windows以下跑這個

初窺項目構建

修改 時間短 團隊 程序 快速 是什麽 新的 頻率 cat 原文出自： http://www.cnblogs.com/Ribbon/archive/2015/05/22/4517125.html 1.項目構建基本流程 開發人員在他們的個人計算機上編寫源代碼文件 他們將編寫

初窺爬蟲

get kit 5.0 www. soft 錯誤 cor for pan 在網上看到一篇能夠爬圖片的程序想自己也試一試，一天的大部分時間都在調試爬蟲所需要的環境。 1）Beautiful Soup模塊 　　Beautiful Soup 是一個可以從 HTML 或 XML 文

初窺Linux 之 我最常用的20條命令

bnu 包括 命名 進程id byte 今天 處理 終止進程 cin 玩過Linux的人都會知道，Linux中的命令的確是非常多，但是玩過Linux的人也從來不會因為Linux的命令如此之多而煩惱，因為我們只需要掌握我們最常用的命令就可以了。當然你也可以在使用時去找一下ma

html5拖拽初窺

text 數據類型 draggable over 進行 color 元素 order ans 說到拖動，大概有兩種方式，一種是js實現，之前已經介紹過，今天來講解另外一種方式，那就是使用html5實現拖動。 css樣式 .box { width: 200px;

Activity初窺門徑

兩種方法 tco edi 技術 dem icon nag sse systems 本節引言： 上一節中我們對Activity一些基本的概念進行了了解，什麽是Activity，Activity的生命周期，如何去啟動一個Activity等，本節我們繼續來學習Activity

SSM-Spring-08：Spring的靜態代理初窺案例

ssp unit text app OS create 創建 test BE ------------吾亦無他,唯手熟爾，謙卑若愚，好學若饑------------- 靜態代理 　　java的設計模式的代理模式，就是靜態代理 　　寫在前面的話，靜態代理的優點

js算法初窺03（簡單搜索及去重算法）

二分搜索 href map 能力 target 新增 一起學 第一次 == 　　前面我們了解了一些常用的排序算法，那麽這篇文章我們來看看搜索算法的一些簡單實現，我們先來介紹一個我們在實際工作中一定用到過的搜索算法——順序搜索。 1、順序搜索 　　其實順序搜索十分簡單，我們還

js算法初窺04（算法模式01-遞歸）

計算 進行 http 我只 space cci 意思 rec 小兔 　　終於來到了有點意思的地方——遞歸，在我最開始學習js的時候，基礎課程的內容就包括遞歸，但是當時並不知道遞歸的真正意義和用處。我只是知道，哦...遞歸是自身調用自身，遞歸要記得有一個停止調用的條件。那時，

初窺AspectJ

odi start 方式 不同的 alt 解決 奇怪 str maven插件 AspectJ可以說是Java中當之無愧的黑魔法。說它是黑魔法，一方面是因為它很強大，能夠解決一些傳統編程方法論解決不了的問題，而另一方面，它也相當的晦澀，有著比較陡峭的學習曲線。 本文將帶大家探

初窺前端_CSS_部分屬性

類選擇器  　　在 HTML元素中，給元素標籤Class屬性賦予名稱，然後 　　在Css檔案中，類選擇器 可以以一個 點（Class名稱）的方式來控制一個類檔案的樣式，也可以空格 控制類檔案內的標籤元素的樣式，讀作派生選擇器 屬性選擇器 　　舉例:在CSS檔案中 建立一個title的格式&n

Android初窺門徑

問題1：報錯 Execution failed for task ':app:mergeDebugResources'. > Error: java.util.concurrent.ExecutionException: com.android.builder.internal.aapt.

初窺Go module

目錄 一. 建立試驗環境 二. 傳統Go構建以及包依賴管理的回顧 三. go modules定義、experiment開關以及“依賴管理”的工作模式 四. go modules的依賴版本選擇 五. go modules與vendor 六. 小結 自2007年“三巨頭（

初窺Vivado HLS--轉載我之前的blog的內容

本週剛剛打算入手一個ZYNQ的開發板，想體驗一下賽靈思的最新科技ARM + FPGA架構，於是開始接觸一下vivado的高階綜合令人興奮！下面開始介紹！ 1，Vivado的HLS高階綜合。 我是在電子發燒友看到這邊文章： http://www.elecfans.com/emb/

JVM初窺：Java物件的記憶體結構

物件記憶體結構 Class檔案以位元組碼的形式儲存在方法區當中，用來描述一個類本身的記憶體結構。當使用Class檔案新建物件時，物件例項的記憶體結構又究竟是個什麼樣子呢？   如圖所示，為了表示物件的屬性、方法等資訊，HotSpot VM使用物件頭部的一個指標指向Class區域的方式來

Hadoop-0.20.2原始碼學習（1）——原始碼初窺

參考： JeffreyZhou的部落格園 《Hadoop權威指南》第四版 0. 為什麼選擇0.20.2版本 前面學習搭建的Hadoop版本是2.7.6，可是這裡為什麼要學習0.20.2這麼老的版本呢？