1. 程式人生 > >配置Pycharm的Scrapy爬蟲Spider子類通用模板

配置Pycharm的Scrapy爬蟲Spider子類通用模板

Scrapy爬蟲的模板比較單一,每次新建爬蟲程式要麼重新手敲一遍,要麼複製貼上

  • 從頭手敲:效率較低,容易出錯,浪費時間
  • 複製貼上:老程式碼需要改動的地方較多,容易漏掉,導致出錯

所以,pycharm中配置一個模板檔案就很重要了

# -*- encoding: utf-8 -*-

"""
@Date    : ${YEAR}-${MONTH}-${DAY}
@Author  : Peng Shiyu


"""

from scrapy import Spider, Request, cmdline


class XXXSpider(Spider)
: name = "${NAME}" start_urls = [] def start_request(self): for url in self.start_urls: yield Request(url) def parse(self, response): pass if __name__ == "__main__": cmdline.execute("scrapy crawl ${NAME}".split())