scrapy shell 互動視窗的使用

• scrapy shell 互動視窗的使用
  • 1、開啟scrapy shell
  • 2、利用shell除錯程式碼
    • view()
    • fetch()
    • settings
    • request
    • response
    • scrapy
    • spider、crawler

1、開啟scrapy shell

在命令列cmd終端輸入命令

# scrapy shell 網址 
scrapy shell http://www.baidu.com
# 注意網址不需要加引號，不是字串。因為這裡是終端。

2、利用shell除錯程式碼

除錯scrapy專案程式碼需要到scrapy專案頂級目錄下開啟scrapy shell

D:\>cd Demo

D:\Demo>scrapy shell http://www.baidu.com

shell便會自動匯入該專案的配置和檔案

view()

view(response)	# 用瀏覽器開啟響應內容
# 用於檢查網頁的真實性

fetch()

fetch(url)		# 傳送get請求，獲取響應, 重新賦給response
# 可以檢查網址是否可用
fetch(Request)	# 使用用請求物件傳送get請求，並更新response
# 可以檢查請求物件是否正確

settings

輸入settings可以檢視專案的配置，但不能在shell中修改。shell會返回一個字典顯示詳細的配置資訊。

request

請求物件，可以檢視請求頭和cookies

request.headers		# 檢視請求頭，一個字典，位元組型別資料
request.cookies		# 檢視請求的cookies，一個字典

response

響應物件，是主要的操作物件，有很多方法

# 但有一個不可用
response.content	# scrapy的response不能得到二進位制資料
# 只能獲取文字
response.text
# 常用方法
# xpath()、get()、getall()
response.xpath().getall()

scrapy

構造請求物件

scrapy.Request(url)
 

spider、crawler

暫不清楚，待更新