Gerapy 部署分散式爬蟲專案詳解
阿新 • • 發佈:2018-12-12
Gerapy簡介
根據說明,Gerapy 應當是一款國人開發的是一款分散式爬蟲管理框架(有中文介面) 。支援 Python 3,基於 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 開發。
Gerapy作用
Gerapy 可以幫助我們:
- 更方便地控制爬蟲執行
- 更直觀地檢視爬蟲狀態
- 更實時地檢視爬取結果
- 更簡單地實現專案部署
- 更統一地實現主機管理
- 更輕鬆地編寫爬蟲程式碼(幾乎沒用,感覺比較雞肋)
Gerapy安裝
如何下載
1.git下載 連結: https://github.com/Gerapy/Gerapy.git
$pip install gerapy
$gerapy 檢視是否安裝成功
成功資訊:
Usage:
gerapy init [--folder=<folder>]
gerapy migrate
gerapy createsuperuser
gerapy runserver [<host:port>]
Gerapy使用
首先我們建立一個目錄用來存放我們的Gerapy專案,然後在保持shift鍵按下的狀態下右擊,點選進入命令列視窗。如下圖:
1.Greapy初始化
$gerapy init
2.初始化資料庫
$cd gerapy
$gerapy migrate
3.執行Gerapy服務
$gerapy runserver
4.進入gerapy管理介面
開啟瀏覽器在位址列輸入如下命令:
http://127.0.0.1:8000
即可看到Gerapy管理介面,如圖所示: 如出現上述圖片,則表示Gerapy部署成功,使用Greapy就是為了將使用命令列開啟爬蟲變的簡單點. 我們在Gerapy中配置了scrapyd後,不需要使用命令列,可以通過圖形化介面直接開啟爬蟲。本章就為大家介紹到站了,下一章為大家介紹,如何使用Gerapy圖形化介面來管理專案。
技術還處於基礎水平,大多都還是搬運工和註釋的階段,理解都還欠佳,都是平時看書和實際工作總結和好文搬運,寫部落格是想大家一起探討知識,格式也不好,需要的將就看吧,也請各位指導糾錯,不喜勿噴,大家一起進步!