配置Pycharm的Scrapy爬蟲Spider子類通用模板
阿新 • • 發佈:2018-12-13
Scrapy爬蟲的模板比較單一,每次新建爬蟲程式要麼重新手敲一遍,要麼複製貼上
- 從頭手敲:效率較低,容易出錯,浪費時間
- 複製貼上:老程式碼需要改動的地方較多,容易漏掉,導致出錯
所以,pycharm中配置一個模板檔案就很重要了
# -*- encoding: utf-8 -*-
"""
@Date : ${YEAR}-${MONTH}-${DAY}
@Author : Peng Shiyu
"""
from scrapy import Spider, Request, cmdline
class XXXSpider(Spider) :
name = "${NAME}"
start_urls = []
def start_request(self):
for url in self.start_urls:
yield Request(url)
def parse(self, response):
pass
if __name__ == "__main__":
cmdline.execute("scrapy crawl ${NAME}".split())