21.scrapy爬蟲部署
阿新 • • 發佈:2018-09-12
技術 script programs dmi .com target sys pro lan
1.啟用 scrapyd
2.
在瀏覽器打開127.0.0.1:6800/
3.
scrapy.cfg 設置
4.
遇到問題: scrapyd-deploy 不是內部命令
編輯 兩個配置文件
@echo off
"C:\Users\Administrator\AppData\Local\Programs\Python\Python35\python.exe" "C:\Users\Administrator\AppData\Local\Programs\Python\Python35\Scripts\scrapy" %*
並添加到環境變量裏
5.
部署成功
用 scrapyd-deploy -l 驗證
可以看到有一個可用的 projects
6.啟動爬蟲使用curl命令
curl http://127.0.0.1/6800/schedule.json -d project=tutorial -d spider=QuotesSpider
windows 安裝curl http://curl.haxx.se/download.html
將 curl.exe 放到c盤 system32 就可以全局使用
防火墻 高級設置 入站規則 新建規則 端口 根據情況 下一步就可以
這裏 執行爬蟲程序出了一點問題沒有解決,明天再解決。
21.scrapy爬蟲部署