1. 程式人生 > >Gerapy 部署分散式爬蟲專案詳解

Gerapy 部署分散式爬蟲專案詳解

Gerapy簡介

根據說明,Gerapy 應當是一款國人開發的是一款分散式爬蟲管理框架(有中文介面) 。支援 Python 3,基於 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 開發。

Gerapy作用

Gerapy 可以幫助我們:

  1. 更方便地控制爬蟲執行
  2. 更直觀地檢視爬蟲狀態
  3. 更實時地檢視爬取結果
  4. 更簡單地實現專案部署
  5. 更統一地實現主機管理
  6. 更輕鬆地編寫爬蟲程式碼(幾乎沒用,感覺比較雞肋)

Gerapy安裝

如何下載

1.git下載 連結: https://github.com/Gerapy/Gerapy.git

。 2.用pip3 install gerapy ,這裡要注意自己的python 環境。 pip命令演示如下:

$pip install gerapy
$gerapy 檢視是否安裝成功

成功資訊:

    Usage:
      gerapy init [--folder=<folder>]
      gerapy migrate
      gerapy createsuperuser
      gerapy runserver [<host:port>]

Gerapy使用

首先我們建立一個目錄用來存放我們的Gerapy專案,然後在保持shift鍵按下的狀態下右擊,點選進入命令列視窗。如下圖: 在這裡插入圖片描述

進入命令列視窗後輸入下列命令實現建立Gerapy專案

1.Greapy初始化

$gerapy init

在這裡插入圖片描述 2.初始化資料庫

$cd gerapy
$gerapy migrate

在這裡插入圖片描述 3.執行Gerapy服務

$gerapy runserver

在這裡插入圖片描述 4.進入gerapy管理介面

開啟瀏覽器在位址列輸入如下命令:

http://127.0.0.1:8000

即可看到Gerapy管理介面,如圖所示: 在這裡插入圖片描述 如出現上述圖片,則表示Gerapy部署成功,使用Greapy就是為了將使用命令列開啟爬蟲變的簡單點. 我們在Gerapy中配置了scrapyd後,不需要使用命令列,可以通過圖形化介面直接開啟爬蟲。本章就為大家介紹到站了,下一章為大家介紹,如何使用Gerapy圖形化介面來管理專案。

    技術還處於基礎水平,大多都還是搬運工和註釋的階段,理解都還欠佳,都是平時看書和實際工作總結和好文搬運,寫部落格是想大家一起探討知識,格式也不好,需要的將就看吧,也請各位指導糾錯,不喜勿噴,大家一起進步!