本篇主要介紹兩種部署爬蟲的方案。如果僅僅在開發除錯的時候在本地部署跑起來是很容易的，不過要是生產環境，爬蟲任務量大，並且持續時間長，那麼還是建議使用專業的部署方法。主要是兩種方案：

部署到Scrapyd

Scrapyd是一個開源軟體，用來執行蜘蛛爬蟲。它提供了HTTP API的伺服器，還能執行和監控Scrapy的蜘蛛

要部署爬蟲到Scrapyd，需要使用到scrapyd-client部署工具集，下面我演示下部署的步驟

Scrapyd通常以守護程序daemon形式執行，監聽spider的請求，然後為每個spider建立一個程序執行scrapy crawl myspider,同時Scrapyd還能以多程序方式啟動，通過配置max_proc

安裝

使用pip安裝

pip install scrapyd

在ubuntu系統上面

apt-get install scrapyd

配置

配置檔案地址，優先順序從低到高

• /etc/scrapyd/scrapyd.conf (Unix)
• /etc/scrapyd/conf.d/* (in alphabetical order, Unix)
• scrapyd.conf
• ~/.scrapyd.conf (users home directory)

簡單的例子

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5
bind_address = 0.0.0.0
http_port   = 6800
debug       = off
runner      = scrapyd.runner
application = scrapyd.app.application
launcher    = scrapyd.launcher.Launcher
webroot     = scrapyd.website.Root

[services]
schedule.json     = scrapyd.webservice.Schedule
cancel.json       = scrapyd.webservice.Cancel
addversion.json   = scrapyd.webservice.AddVersion
listprojects.json = scrapyd.webservice.ListProjects
listversions.json = scrapyd.webservice.ListVersions
listspiders.json  = scrapyd.webservice.ListSpiders
delproject.json   = scrapyd.webservice.DeleteProject
delversion.json   = scrapyd.webservice.DeleteVersion
listjobs.json     = scrapyd.webservice.ListJobs
daemonstatus.json = scrapyd.webservice.DaemonStatus
 

部署

使用scrapyd-client最方便，Scrapyd-client是scrapyd的一個客戶端，它提供了scrapyd-deploy工具將工程部署到Scrapyd伺服器上面

通常將你的工程部署到Scrapyd需要兩個步驟：

1. 將工程打包成python蛋，你需要安裝setuptools

你可以在你的工程配置檔案scrapy.cfg定義Scrapyd目標

[deploy:example]
url = http://scrapyd.example.com/api/scrapyd
username = scrapy
password = secret

列出所有可用目標使用命令

scrapyd-deploy -l
 

列出某個目標上面所有可執行的工程，執行命令

scrapyd-deploy -L example

先cd到工程根目錄，然後使用如下命令來部署：

scrapyd-deploy <target> -p <project>

你還可以定義預設的target和project，省的你每次都去敲程式碼

[deploy]
url = http://scrapyd.example.com/api/scrapyd
username = scrapy
password = secret
project = yourproject

這樣你就直接取執行

scrapyd-deploy

如果你有多個target，那麼可以使用下面命令將project部署到多個target伺服器上面

scrapyd-deploy -a -p <project>

部署到Scrapy Cloud

它免除了安裝和監控伺服器的需要，並提供了非常美觀的UI來管理各個Spider，還能檢視被抓取的Item，日誌和狀態等。

你可以使用shub命令列工具來講spider部署到Scrapy Cloud。更多請參考官方文件

Scrapy Cloud和Scrapyd是相容的，你可以根據需要在兩者之前切換，配置檔案也是scrapy.cfg，跟scrapyd-deploy讀取的是一樣的。