1. 程式人生 > >Scrapy在PyCharm裏面運行,調試

Scrapy在PyCharm裏面運行,調試

start gin 運行 charm RM class BE .com begin

首先通過csrapy shell命令創建一個scrapy項目。

scrapy startproject projectname

技術分享圖片

會生成如下文件

技術分享圖片

進入spider_405文件夾

技術分享圖片

我們自己寫的爬蟲項目就放在spiders文件夾裏面

items.py是用來保存你爬取的數據的數據結構

技術分享圖片

在scrapy.cfg同目錄下新建一個begin.py文件

技術分享圖片

在begin.py中編輯內容如下,註意紅框中是在spiders裏面name的值

技術分享圖片

技術分享圖片

之後調試程序時,運行begin.py文件即可,調試信息會在run框中打印輸出

技術分享圖片

Scrapy在PyCharm裏面運行,調試