python_windows下PySpider敲的程式碼在哪裡?以及如何重新執行已經完成的爬蟲專案
阿新 • • 發佈:2018-12-22
問題描述:使用PySpider進行爬蟲,已經執行完程式碼,專案的進度已經完成,顯示百分之百,由於修改了程式碼,想重新執行,但是一直顯示爬蟲專案已經完成。
原因分析:當你在執行完爬蟲的專案的時候,系統會將你的執行資訊在本地進行存放,再次執行的時候會先看你的執行資訊,如果已經完成,系統則會顯示已經完成,不會真正的再一次進行爬蟲。
解決:所以我們要找到本地存放PySpider相關檔案的路徑,進行修改或刪除
本地路徑:因為我是使用pip install pyspider進行安裝的,所以我的pyspider相關檔案的路徑如下:
C:\Users\Administrator\data
-
project.db:用於儲存專案程式碼和配置的
-
result.db:儲存結果資料
-
task.db:儲存任務資料
-
和任務相關的排程
-
scheduler.all
-
scheduler.1d
-
scheduler.1
-
-
如果想要刪除之前的下載的資料和任務::
刪除result.db和task.db,scheduler.all,scheduler.1d,scheduler.1h
然後重新重新整理頁面:
就可以重新執行爬蟲任務了
下面進行測試:
刪除檔案
重啟spider
登入 http://localhost:5000/可以看到process一欄沒有進度,可以重新執行爬蟲任務。