關於scrapyd爬蟲專案命令多種使用方法與請求
阿新 • • 發佈:2018-12-12
關於對scrapyd爬蟲使用命令幾種方式(cmd命令列,cmder工具,通過py檔案請求網址得到請求)
1,命令列
關於命令列的操作無需多言,基本操作,大概如下
在爬蟲專案檔案下使用命令
2,cmder
首先下載cmder,並開啟cmder.exe
此時cmder視窗連線的是cmd命令視窗,如果有命令可直接在該視窗上使用
例如爬蟲的啟動和關閉
cmder視窗顯示結果與cmd視窗顯示內容一致
3,通過py檔案控制爬蟲與檢查爬蟲的狀態
1,執行爬蟲的請求(其中引數後面,required為必填,optional為可選)
新建一個py檔案例如(test.py)
新增url,將所需要的資料作為字典使用post/GET請求傳送出去
得到的response的json格式即為獲得的內容,例如(爬蟲狀態,爬蟲專案數量等,網站上都有描述)
首先 import requests 匯入請求網址的包
1)開始爬蟲
獲取url,將爬蟲名與專案名用post請求傳送,得到response的json格式
2)關閉爬蟲
3)獲取所有已上傳的爬蟲專案
獲取某專案的所有版本資訊 url = 'http://localhost:6800/listversions.json?project=ivsky_spider' response = requests.get(url=url) print(response.json())
4)獲取某個專案下的所有爬蟲,預設獲取最後一個版本的爬蟲專案
url = 'http://localhost:6800/listspiders.json?project=ivsky_spider'
response = requests.get(url=url)
print(response.json())
5)所有上傳過的爬蟲檔案
6)檢視爬蟲內容
等等。。。。。。。。。。。
如果想了解更多關於內容,,,進入到該網站可仔細研究