2. 程式人生 > >Python爬蟲-pyspider框架的使用

Python爬蟲-pyspider框架的使用

阿新 • • 發佈：2018-12-31

image.png

pyspider 是一個用python實現的功能強大的網路爬蟲系統，能在瀏覽器介面上進行指令碼的編寫，功能的排程和爬取結果的實時檢視，後端使用常用的資料庫進行爬取結果的儲存，還能定時設定任務與任務優先順序等。

本篇文章只是對這個框架使用的大體介紹，更多詳細資訊可見官方文件。

安裝

首先是環境的搭建，網上推薦的各種安裝命令，如：

pip install pyspider

但是因為各種許可權的問題，博主安裝報錯了，於是採用了更為簡單粗暴的方式，直接把原始碼下下來run。

pyspider的原始碼地址，直接download或者git clone都行，下載完成後，進入資料夾目錄。

系統預設用的Python是2.7版本，自己另外裝了個3.4的，原始碼用python3跑起來。

先進行安裝，在pyspider的路徑下敲命令：

python3 setup.py install

一堆的列印，完了之後沒什麼錯誤提示就是安裝完成了。

接下來跑起來：

python3 run.py

執行結果如下圖所示

image.png

可以看到webui執行在5000埠處，在瀏覽器開啟127.0.0.1:5000或者localhost:5000，便能看到框架的UI介面，如下圖

image.png

這樣pyspider就算是跑起來了。有的文章會提到需要安裝phantomjs，這個暫時用不上，先忽略。

開始

image.png

新建任務

第一次跑起來的時候因為沒有任務，介面的列表為空，右邊有個Create按鈕，點選新建任務。

image.png

  • Project Name：任務的名字，可以任意填
  • Start URL(s)：爬取任務開始的地址，這裡我們填目標網址的url

填寫完成後，點選Create，便建立成功並跳轉到了另一個介面，如下圖所示

image.png

介面右邊區域自動生成了初始預設的程式碼：

#!/usr/bin/env python
# -*- encoding: utf-8 -*-
# Created on 
# Project: reo

from pyspider.libs.base_handler import *

class
 
 Handler(BaseHandler):
    crawl_config = {
    }

    @every(minutes=24 * 60)
    def on_start(self):
        self.crawl('http://www.reeoo.com', callback=self.index_page)

    @config(age=10 * 24 * 60 * 60)
    def index_page(self, response):
        for each in response.doc('a[href^="http"]').items():
            self.crawl(each.attr.href, callback=self.detail_page)

    @config(priority=2)
    def detail_page(self, response):
        return {
            "url": response.url,
            "title": response.doc('title').text(),
        }

  • on_start(self) 程式的入口，當點選左側綠色區域右上角的 run 按鈕時首先會呼叫這個函式

  • self.crawl(url, callback) pyspider庫主要的API，用於建立一個爬取任務，url 為目標地址，這裡為我們剛剛建立任務指定的起始地址，callback 為抓取到資料後的回撥函式

  • index_page(self, response) 引數為 Response 物件，response.doc 為 pyquery 物件（具體使用可見pyquery官方文件），pyquery和jQuery類似，主要用來方便地抓取返回的html文件中對應標籤的資料

  • detail_page(self, response) 返回一個 dict 物件作為結果，結果會自動儲存到預設的 resultdb 中，也可以通過過載方法來講結果資料儲存到指定的資料庫，後面會再提到具體的實現

其他一些引數

  • @every(minutes=24 * 60) 通知 scheduler（框架的模組） 每天執行一次

  • @config(age=10 * 24 * 60 * 60) 設定任務的有效期限，在這個期限內目標爬取的網頁被認為不會進行修改

  • @config(priority=2) 設定任務優先順序

Ps. 需要注意的一個地方，前面跑的 run.py 不是下載的原始碼資料夾中的，而是在 pyspider 資料夾中的 run.py，如下圖，可以看到有兩個 run.py 檔案，雖然兩個都能跑起來，但我們用到的是圈出來的那個，否則不能通過 –config 配置。

image.png

成功跑起來之後可以看到在當前資料夾中生成了一個 data 資料夾，生成的結果預設會儲存到 result.db 中，爬取資料後可開啟看裡面儲存了執行的結果。

image.png

執行

點選左邊綠色區域右上角的 run 按鈕，執行之後頁面下冊的 follows 按鈕出現紅色角標

image.png

選中 follows 按鈕，看到 index_page 行，點選行右側的執行按鈕

image.png

執行完成後顯示如下圖，即 www.reeoo.com 頁面上所有的url

image.png

此時我們可以任意選擇一個結果執行，這時候呼叫的是 detail_page 方法，返回最終的結果。

結果為json格式的資料，這裡我們儲存的是網頁的 title 和 url，見左側黑色的區域

image.png

回到主頁面，此時看到任務列表顯示了我們剛剛建立的任務，設定 status 為 running，然後點選 Run 按鈕執行

image.png

執行過程中可以看到整個過程的列印輸出

image.png

執行完成後，點選 Results 按鈕，進入到爬取結果的頁面

image.png

image.png

右上方的按鈕選擇將結果資料儲存成對應的格式，例如：JSON格式的資料為：

image.png

以上則為pyspider的基本使用方式。

自定義爬取指定資料

接下來我們通過自定義來抓取我們需要的資料，目標為抓取這個頁面中，每個詳情頁內容的標題、標籤、描述、圖片的url、點選圖片所跳轉的url。

image.png

image.png

點選首頁中的 project name > reo，跳轉到指令碼的編輯介面

image.png

獲取所有詳情頁面的url

index_page(self, response) 函式為獲取到 www.reeoo.com 頁面所有資訊之後的回撥，我們需要在該函式中對 response 進行處理，提取出詳情頁的url。

通過檢視原始碼，可以發現 class 為 thum 的 div 標籤裡，所包含的 a 標籤的 href 值即為我們需要提取的資料，如下圖

image.png

程式碼的實現

def index_page(self, response): 
    for each in response.doc('div[class="thumb"]').items():
        detail_url = each('a').attr.href
        print (detail_url)
        self.crawl(detail_url, callback=self.detail_page)

response.doc(‘div[class=”thumb”]’).items() 返回的是所有 class 為 thumb 的 div 標籤，可以通過迴圈 for…in 進行遍歷。

each(‘a’).attr.href 對於每個 div 標籤，獲取它的 a 標籤的 href 屬性。

可以將最終獲取到的url列印，並傳入 crawl 中進行下一步的抓取。

點選程式碼區域右上方的 save 按鈕儲存，並執行起來之後的結果如下圖，中間的灰色區域為列印的結果

image.png

注意左側區域下方的幾個按鈕，可以展示當前所爬取頁面的一些資訊，web 按鈕可以檢視當前頁面，html 顯示當前頁面的原始碼，enable css selector helper 可以通過選中當前頁面的元素自動生成對應的 css 選擇器方便的插入到指令碼程式碼中，不過並不是總有效，在我們的demo中就是無效的~

image.png

image.png

抓取詳情頁中指定的資訊

接下來開始抓取詳情頁中的資訊，任意選擇一條當前的結果，點選執行，如選擇第一個

image.png

實現 detail_page 函式，具體的程式碼實現：

def detail_page(self, response):
    header = response.doc('body > article > section > header')
    title = header('h1').text()

    tags = []
    for each in header.items('a'):
        tags.append(each.text())

    content = response.doc('div[id="post_content"]')
    description = content('blockquote > p').text()

    website_url = content('a').attr.href

    image_url_list = []
    for each in content.items('img[data-src]'):
        image_url_list.append(each.attr('data-src'))

    return {
        "title": title,
        "tags": tags,
        "description": description,
        "image_url_list": image_url_list,
        "website_url": website_url,
}

response.doc(‘body > article > section > header’) 引數和CSS的選擇器類似，獲取到 header 標籤， .doc 函式返回的是一個 pyquery 物件。

header(‘h1’).text() 通過引數 h1 獲取到標籤，text() 函式獲取到標籤中的文字內容，通過檢視原始碼可知道，我們所需的標題資料為 h1 的文字。

標籤頁包含在 header 中，a 的文字內容即為標籤，因為標籤有可能不為1，所以通過一個數組去儲存遍歷的結果 header.items(‘a’)，具體html的原始碼如下圖：

image.png

response.doc(‘div[id=”post_content”]’) 獲取 id 值為 post_content 的 div 標籤，並從中取得詳情頁的描述內容，有的頁面這部分內容可能為空。

其餘資料分析抓取的思路基本一致。

最終將需要的資料作為一個 dict 物件返回，即為最終的抓取結果

{
    "title": title,
    "tags": tags,
    "description": description,
    "image_url_list": image_url_list,
    "website_url": website_url,
}

儲存之後直接點選左邊區域的 run 按鈕執行起來，結果如圖，中間灰色區域為分析抓取到的結果。

image.png

在主頁把任務重新跑起來，檢視執行結果，可以看到我們需要的資料都抓取下來

image.png

將資料儲存到本地的資料庫

抓取到的資料預設儲存到 resultdb 中，雖然很方便通過瀏覽器進行瀏覽和下載，但卻不太適合進行大規模的資料儲存。

所以最好的處理方式還是將資料儲存在常用的資料庫系統中，本例採用的資料庫為 mongodb。

引數的配置

新建一個檔案，命名為 config.json，放在 pyspider 檔案目錄下，以 JSON 格式儲存配置資訊。檔案到時候作為 pyspider 配置命令的引數。

檔案具體內容如下：

{
    "taskdb": "mongodb+taskdb://127.0.0.1:27017/pyspider_taskdb",
    "projectdb": "mongodb+projectdb://127.0.0.1:27017/pyspider_projectdb",
    "resultdb": "mongodb+resultdb://127.0.0.1:27017/pyspider_resultdb",
    "message_queue": "redis://127.0.0.1:6379/db",
    "webui": {
        "port": 5001
    }
}

指定了資料庫的地址，“webui” 指定網頁的埠，這時候我們可以改成 5001 試試，不再用預設的 5000。

Ps. 在執行之前，你得保證開啟本地的資料庫 mongodb 和 redis，具體怎麼玩自行google，反正這兩個介面跑起來就對了~

image.png

image.png

通過設定引數的命令重新執行起來：

pyspider --config config.json

資料庫儲存的實現

通過過載 on_result(self, result): 函式，將結果儲存到 mongodb 中，具體程式碼實現

import pymongo

...

def on_result(self, result):
    if not result:
        return

    client = pymongo.MongoClient(host='127.0.0.1', port=27017)
    db = client['pyspyspider_projectdb']
    coll = db['website']

    data = {
        'title': result['title'],
        'tags': result['tags'],
        'description': result['description'],
        'website_url': result['website_url'],
        'image_url_list': result['image_url_list']
    }

    data_id = coll.insert(data)
    print (data_id)

on_result(self, result) 在每一步抓取中都會呼叫，但只在 detail_page 函式呼叫後引數中的 result 才會不為 None，所以需要在開始的地方加上判斷。

db = client[‘pyspyspider_projectdb’] 中資料庫的名字 pyspyspider_projectdb 為之前在 config.json 配置檔案中的值。

coll = db[‘website’] 在資料庫中建立了一張名為 website 的表。

data_id = coll.insert(data) 將資料以我們制定的模式儲存到 mongodb 中。

（除了過載on_result方法外，也可以通過過載ResultWorker類來實行結果的處理，需要在配置檔案中加上對應的引數。）

重新新建一個任務，將完整的程式碼拷進去，在主介面完成的跑一遍。

執行過程中可以看到 mongodb 中的列印不斷有資料插入

image.png

執行完成後，瀏覽器檢視結果，因為設定了資料庫的儲存，不再儲存在預設的 resultdb 中，此時瀏覽器的result介面是沒有資料的

image.png

通過命令列進入資料庫查詢資料：

use pyspyspider_projectdb
db.website.find()

可看到儲存到的資料

{ "_id" : ObjectId("5819e422e8e70103751f0f4c"), "image_url_list" : [ "http://media.reeoo.com/MING Labs.png!main" ], "website_url" : "https://minglabs.com/en", "tags" : [ "design company", "onepage", "showcase" ], "description" : "MING Labs is a UX design and development company with offices in Germany, China and Singapore. We craft digital products for all screens and platforms.", "title" : "MING Labs" }
{ "_id" : ObjectId("581ad797e8e7010fa8ea85c1"), "tags" : [ "onepage" ], "title" : "SpaceTravellers", "website_url" : "https://www.totaltankstelle.de/spacetravellers/", "image_url_list" : [ "http://media.reeoo.com/SpaceTravellers.png!main" ], "description" : "Sie haben Treibstoff gesucht und viel mehr gefunden." }
{ "_id" : ObjectId("581ad8ede8e70112e51bd4e1"), "website_url" : "http://aftershock.cc/", "title" : "Aftershock", "tags" : [ "onepage" ], "description" : "Evento de design para aqueles que estão tentando viver (ou quase) de arte. Chega mais! Dia 22-23 de outubro. Botafogo-RJ", "image_url_list" : [ "http://media.reeoo.com/Aftershock.png!main" ] }
{ "_id" : ObjectId("581ad8ede8e70112e51bd4e3"), "website_url" : "http://www.proudandpunch.com.au/", "title" : "Proud & Punch", "tags" : [ "food", "ice cream", "onepage" ], "description" : "At Proud & Punch, we’re all about real flavours that pack a punch. We start with fresh ingredients and turn them into tasty treats with a whole lot of flair, right here in Australia. We don’t take shortcuts and have nothing to hide. We’re just proudly real, proudly delicious and proudly here to give you the feel-good treat you’ve been waiting for.", "image_url_list" : [ "http://media.reeoo.com/Proud & Punch.png!main" ] }
{ "_id" : ObjectId("581ad8ede8e70112e51bd4e5"), "website_url" : "http://www.mobil1.com.sg/theendlessrace-game/", "title" : "The Endless Race", "tags" : [ "game" ], "description" : "", "image_url_list" : [ "http://media.reeoo.com/The Endless Race.png!main" ] }
{ "_id" : ObjectId("581ad8eee8e70112e51bd4e7"), "website_url" : "http://www.maztri.com/en/", "title" : "Maztri", "tags" : [ "design agency", "showcase" ], "description" : "Maztri est une agence d’architecture intérieure et de design qui travaille sur la sensorialité des espaces et des objets qui nous entourent.", "image_url_list" : [ "http://media.reeoo.com/Maztri.png!main" ] }
...

至此，我們便已將所抓取到的結果儲存到了本地。

其他

本文所舉例子只是最基本的使用方式，更復雜的，如通過引數的配置，讓爬蟲長期執行與伺服器定期對資料進行更新，對根網頁進行更深層次的處理，通過叢集的方式來執行爬蟲等。感興趣的可自行去研究了。

另，這個框架是國人寫的，附上官方文件的地址

完整的原始碼實現地址在這，直接拷貝貼上到程式碼區域就能用，用的是python3。

相關推薦

Python爬蟲-pyspider框架的使用

pyspider 是一個用python實現的功能強大的網路爬蟲系統，能在瀏覽器介面上進行指令碼的編寫，功能的排程和爬取結果的實時檢視，後端使用常用的資料庫進行爬取結果的儲存，還能定時設定任務與任務優先順序等。 本篇文章只是對這個框架使用的大體介紹，更多詳細

python 爬蟲 scrapy框架的使用 一

1 首先 安裝 scrapy ：  pip install scrapy 2 用命令建立一個spider工程： scrapy startproject spider5 3 建立一個spider檔案，並指定爬蟲開始的域名： scrapy gensp

python 爬蟲 scrapy框架的使用 一

pytho clas 工程 本地 emp mpi 原理 png 下載 1 首先 安裝 scrapy ： pip install scrapy 2 用命令創建一個spider工程： scrapy startproject spider5 3 創建一個s

python爬蟲使用框架

scrapy pip install scrapy beautifulsoup pip install beautifulsoup4 selenium pip install selenium 滑動驗證碼 S

Python爬蟲scrapy框架Cookie池（微博Cookie池）的使用

下載程式碼Cookie池（這裡主要是微博登入，也可以自己配置置其他的站點網址） 下載安裝過後注意看網頁下面的相關基礎配置和操作！！！！！！！！！！！！！ 自己的設定主要有下面幾步： 1、配置其他設定 2、設定使用的瀏覽器 3、設定模擬登陸

Python爬蟲scrapy框架爬取動態網站——scrapy與selenium結合爬取資料

 scrapy框架只能爬取靜態網站。如需爬取動態網站，需要結合著selenium進行js的渲染，才能獲取到動態載入的資料。如何通過selenium請求url，而不再通過下載器Downloader去請求這個url?方法：在request物件通過中介軟體的時候，在中介軟體內部開始

python爬蟲scrapy框架——人工識別登入知乎倒立文字驗證碼和數字英文驗證碼(2)

import scrapy import re import json class ZhihuSpider(scrapy.Spider): name = 'zhihu' allowed_domains = ['www.zhihu.com'] start_urls = ['http

python爬蟲Scrapy框架之中間件

gin 關於 pre ces alt python類 分享 新建 爬蟲 Downloader Middleware處理的過程主要在調度器發送requests請求的時候以及網頁將response結果返回給spider的時候, 所以說下載中間件是結余Scrapy的request

python爬蟲----scrapy框架簡介和基礎應用

就是 all 安裝 持久化 數據 whl 執行 編寫 通用 一、什麽是scrapy？ 　　scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架，非常出名，非常強悍。所謂的框架就是一個已經被集成了各種功能（高性能異步下載，隊列，分布式，解析，持久化等）的具有很

[Python爬蟲]Scrapy框架爬取bilibili個人資訊

啟動檔案main.py from scrapy.cmdline import execute execute('scrapy crawl bili_gr_xx'.split()) 執行spider下的爬取檔案 # -*- coding: ut

python爬蟲scrapy框架——人工識別知乎登入知乎倒立文字驗證碼和數字英文驗證碼

import requests try: import cookielib except: import http.cookiejar as cookielib import re import time def get_xsrf(): # 獲取xsrf code res

（轉）Python爬蟲--通用框架

statistic down 顯示 fonts ont 這樣的 數據處理 ODB 來看 轉自https://blog.csdn.net/m0_37903789/article/details/74935906 前言： 相信不少寫過Python爬蟲的小夥伴，都應

python爬蟲Scrapy框架之增量式爬蟲

obj lib show prop open html back extract hot 一 增量式爬蟲 什麽時候使用增量式爬蟲： 增量式爬蟲：需求 當我們瀏覽一些網站會發現，某些網站定時的會在原有的基礎上更新一些新的數據。如一些電影網站會實時更新最近熱門的電影。那麽，當我

python爬蟲框架--Pyspider一些安裝坑

Pyspider一些安裝坑 本文主要是新手針對安裝pyspider框架的過程的一下問題： pycharm中安裝pyspider框架 安裝pip 利用pip安裝pyspider 執行pyspider UML序列圖和流程圖 離線寫部落格

python爬蟲—使用scrapy爬蟲框架

pywin32 rip for 鏈接 是把 ror sdn 成功 repl 問題1.使用scrapy框架，使用命令提示符pip命令下載scrapy後，卻無法使用scrapy命令，出現scrapy不是內部或外部命令。也不是可運行的程序 解決：一開始，我是把python安裝在

Python爬蟲從入門到放棄（十一）之 Scrapy框架整體的一個了解

object 定義 roc encoding eth obi pipe pos 等等 這裏是通過爬取伯樂在線的全部文章為例子，讓自己先對scrapy進行一個整理的理解 該例子中的詳細代碼會放到我的github地址：https://github.com/pythonsite/

Python爬蟲從入門到放棄（十三）之 Scrapy框架的命令行詳解

directory xpath idf 成了 spider i386 名稱 4.2 不同的 這篇文章主要是對的scrapy命令行使用的一個介紹 創建爬蟲項目 scrapy startproject 項目名例子如下： localhost:spider zhaofan$ sc

Python爬蟲框架Scrapy實例（二）

head sports spi 工作目錄 http 鏈接 進入 效果 tex 目標任務：使用Scrapy框架爬取新浪網導航頁所有大類、小類、小類裏的子鏈接、以及子鏈接頁面的新聞內容，最後保存到本地。 大類小類如下圖所示： 點擊國內這個小類，進入頁面後效果如下圖（部分截圖）

Python3爬蟲（十六） pyspider框架

暫停 update trie 字典 管理 生成 qlite tps 方便 Infi-chu: http://www.cnblogs.com/Infi-chu/ 一、pyspider介紹1.基本功能 提供WebUI可視化功能，方便編寫和調試爬蟲 提供爬取進度監控、爬取結果查看

8個最高效的Python爬蟲框架，你用過幾個？

python 爬蟲 入門 詳細 官網 小編收集了一些較為高效的Python爬蟲框架。分享給大家。1.ScrapyScrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。。用這個框架可以輕松爬下來如亞馬遜商品信息之