Scrapy框架的學習(7. 瞭解Scrapy中的debug資訊以及Scrapy shell的使用)
阿新 • • 發佈:2019-01-13
認識程式中的debug資訊
https://blog.csdn.net/wei18791957243/article/details/86157707 這個部落格裡寫了,怎麼關閉這些debug資訊
因為在Scrapy中預設是開啟debug資訊的
Scrapy shell的使用
退出到爬蟲專案的根目錄的上一級目錄
scrapy shell 網站地址 例如: scrapy shell http://quotes.toscrape.com/
如果電腦上裝的Ipython就進入Ipython,沒有就進入Python Sell
執行上面的命令後,會列印一堆debug資訊以及可用的爬蟲物件
1. 然後即可以進行使用爬蟲物件對應的方法
response物件
'''當前響應的url地址''' response.url '''返回請求的url網頁原始碼,注意型別是str型別''' response.text '''返回請求的url網頁原始碼,注意型別是bytes型別''' response.body '''也可以測試xpath是否寫的正確''' response.xpath().extract() '''當前響應對應的請求的url地址''' response.request.url: '''響應頭''' response.headers: '''當前響應的請求頭''' response.requests.headers:
spider物件
'''爬蟲的名字,沒有指定就是default''' spider.name '''列印log資訊''' spider.log() ''''''
還有其他的一些物件以及對應的請求, 我們可以
在shell中輸入物件後然後按Tab鍵就可以看它對應的所有方法