scrapy通過命令行創建工程，通過命令行啟動爬蟲，那麽有沒有方式可以在IDE中調試我們的爬蟲呢？

實際上，scrapy是提供給我們工具的，

1. 首先在工程目錄下新建一個腳本文件，作為我們執行爬蟲的入口以取代命令行模式。

2. 編寫代碼：

from scrapy.cmdline import execute
import os
import sys
sys.path.append(os.path.dirname(os.path.abspath(__file__))) # 把我們的目錄導入到環境變量中
if __name__ == ‘__main__‘:
    execute([
 
‘scrapy‘,‘crawl‘,‘my_spider‘])

windows下調試可能會報 確實 model win32api的錯誤。只需要安裝 pypiwin32就能解決這個問題： pip install pypiwin32

python scrapy 調試模式