scrapyd+supervisor在ubuntu部署scrapy專案

之前寫windows下面使用scrapyd的時候挖了個坑說要寫一篇linux使用scrapyd不是scrapy專案的文章，現在過來填坑了，當然最重要的還是能幫助到有需要的人，因為我還是發現。。。找個教程真是太不容易了，最後也還是東平西湊才搭起來環境的。另外本教程使用了vritualenv虛擬環境安裝得scrapyd，因為正式scrapyd老是報錯，如果你在正式環境使用也沒有關係，我會在切換環境的地方作說明。

安裝

pip install scrapy ##有一些依賴庫要先裝，這裡不作太多的說明了
pip  install scrapyd  
pip install scrapyd-client ##scrapyd部署專案用到的客戶端
sudo apt-get install supervisor
 

使用supervisor執行scrapyd

編輯一個配置檔案，用來控制scrapyd的啟動

vi scrapyd_supervisor.conf

[program:scrapyd]
command=source /home/ubuntu/pure_scrapy/bin/activate    ##注意了，此處用來啟用虛擬環境，如果您沒有用到虛擬環境，只需要註釋這句即可。
command=scrapyd   
user=ubuntu  ##使用者為ubuntu
autostart=true
autorestart=true
redirect_stderr=True

複製到supervisor的配置目錄下

sudo cp scrapyd_supervisor.conf /etc/supervisor/conf.d/

重新整理一下supervisor

sudo supervisorctl reread
## 此處有提示更新
sudo supervisorctl update
## 此處有提示更新

##如果要重啟則使用
sudo supervisorctl restart scrapyd

檢視是否已經啟動scrapyd

ps -ef | grep scrapyd
## 如果看到有scrapyd正在執行的程序，說明已經啟動scrapyd成功了

部署你的專案到scrapyd中(先到你的scrapy專案, 這裡是yourprojectname)

scrapyd-deploy localhost -p yourprojectname

執行爬蟲

curl http://localhost:6800/schedule.json -d project=yourprojectname  -d spider=yourspidername

若有如下提示則說明成功:

{"status": "ok", "jobid": "6487ec79947edab326d6db28a2d86511e8247444"}