1. 程式人生 > >關於scrapyd爬蟲專案命令多種使用方法與請求

關於scrapyd爬蟲專案命令多種使用方法與請求

關於對scrapyd爬蟲使用命令幾種方式(cmd命令列,cmder工具,通過py檔案請求網址得到請求)

1,命令列

關於命令列的操作無需多言,基本操作,大概如下

 在爬蟲專案檔案下使用命令

2,cmder

首先下載cmder,並開啟cmder.exe

 此時cmder視窗連線的是cmd命令視窗,如果有命令可直接在該視窗上使用

例如爬蟲的啟動和關閉

 cmder視窗顯示結果與cmd視窗顯示內容一致

3,通過py檔案控制爬蟲與檢查爬蟲的狀態

1,執行爬蟲的請求(其中引數後面,required為必填,optional為可選)

 新建一個py檔案例如(test.py)

新增url,將所需要的資料作為字典使用post/GET請求傳送出去

得到的response的json格式即為獲得的內容,例如(爬蟲狀態,爬蟲專案數量等,網站上都有描述)

首先 import requests  匯入請求網址的包

1)開始爬蟲 

獲取url,將爬蟲名與專案名用post請求傳送,得到response的json格式

 2)關閉爬蟲

 3)獲取所有已上傳的爬蟲專案

獲取某專案的所有版本資訊
url = 'http://localhost:6800/listversions.json?project=ivsky_spider'

response = requests.get(url=url)
print(response.json())

4)獲取某個專案下的所有爬蟲,預設獲取最後一個版本的爬蟲專案

url = 'http://localhost:6800/listspiders.json?project=ivsky_spider'

response = requests.get(url=url)
print(response.json())

5)所有上傳過的爬蟲檔案

 6)檢視爬蟲內容

 等等。。。。。。。。。。。

如果想了解更多關於內容,,,進入到該網站可仔細研究