1. 程式人生 > >除錯scrapy爬蟲程式的方法

除錯scrapy爬蟲程式的方法

經院吉吉:

    期末考試也考完了,該掛科的專案也沒掛,是時候寫寫東西來表達我內心悲痛的心情了,首先在爬蟲專案名下建立一個.py檔案,暫且叫他main.py吧,注意檔案層次:

main.py內容如下:


程式碼從四級水平上來理解是沒問題的,主要說說第四行程式碼是啥意思:當我們匯入一個模組時:import  xxx,這情況下python解析器會搜尋當前目錄、已安裝的內建模組和第三方模組,搜尋路徑存放在sys模組的path中,而當當我們要新增自己的搜尋目錄時,可以通過列表的append()方法,對於模組和自己寫的指令碼不在同一個目錄下,在指令碼開頭加sys.path.append('xxx')。

接下來設定斷點,哪裡要斷點哪裡

執行main.py檔案,程式碼完美執行,沒有出錯,

接下來點選除錯看看response變數的內容,資訊還蠻多的:

這篇文章主要是就講解scrapy除錯方法,通過除錯不僅僅是發現錯誤,更重要的是發現變數之間的關係,更好的理解程式執行過程。個人微信公眾號歡迎大家關注,文章將會陸續更新。