1. 程式人生 > >python_windows下PySpider敲的程式碼在哪裡?以及如何重新執行已經完成的爬蟲專案

python_windows下PySpider敲的程式碼在哪裡?以及如何重新執行已經完成的爬蟲專案

問題描述:使用PySpider進行爬蟲,已經執行完程式碼,專案的進度已經完成,顯示百分之百,由於修改了程式碼,想重新執行,但是一直顯示爬蟲專案已經完成。

原因分析:當你在執行完爬蟲的專案的時候,系統會將你的執行資訊在本地進行存放,再次執行的時候會先看你的執行資訊,如果已經完成,系統則會顯示已經完成,不會真正的再一次進行爬蟲。

解決:所以我們要找到本地存放PySpider相關檔案的路徑,進行修改或刪除

本地路徑:因為我是使用pip install pyspider進行安裝的,所以我的pyspider相關檔案的路徑如下:

C:\Users\Administrator\data

  • project.db:用於儲存專案程式碼和配置的

  • result.db:儲存結果資料

  • task.db:儲存任務資料

    • 和任務相關的排程

      • scheduler.all

      • scheduler.1d

      • scheduler.1

 

如果想要刪除之前的下載的資料和任務::

刪除result.db和task.db,scheduler.all,scheduler.1d,scheduler.1h

然後重新重新整理頁面:

http://localhost:5000/

就可以重新執行爬蟲任務了

下面進行測試:

刪除檔案

重啟spider

登入 http://localhost:5000/可以看到process一欄沒有進度,可以重新執行爬蟲任務。