1. 程式人生 > >21.scrapy爬蟲部署

21.scrapy爬蟲部署

技術 script programs dmi .com target sys pro lan


1.啟用 scrapyd
技術分享圖片

2.

在瀏覽器打開127.0.0.1:6800/

技術分享圖片

3.

scrapy.cfg 設置

技術分享圖片

4.

遇到問題: scrapyd-deploy 不是內部命令

技術分享圖片

編輯 兩個配置文件

@echo off
"C:\Users\Administrator\AppData\Local\Programs\Python\Python35\python.exe" "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\Scripts\scrapy" %*

並添加到環境變量裏

5.

部署成功

技術分享圖片

用 scrapyd-deploy -l 驗證

技術分享圖片

可以看到有一個可用的 projects

技術分享圖片

6.啟動爬蟲使用curl命令

curl http://127.0.0.1/6800/schedule.json -d project=tutorial -d spider=QuotesSpider

windows 安裝curl http://curl.haxx.se/download.html

將 curl.exe 放到c盤 system32 就可以全局使用

技術分享圖片

技術分享圖片

防火墻 高級設置 入站規則 新建規則 端口 根據情況 下一步就可以

這裏 執行爬蟲程序出了一點問題沒有解決,明天再解決。

21.scrapy爬蟲部署