1. 程式人生 > >爬蟲開啟專案啦

爬蟲開啟專案啦

1.建立scrapy專案

scrapy  startproject 專案名
cd 專案名
scrapy genspider chouti chouti.com       建立一個爬取抽屜的爬蟲
scrapy genspider cnblogs cnblogs.com         建立一個爬取部落格的爬蟲
scrapy crawl chouti                  編寫完成之後啟動專案
View Code

2.專案中各個檔案的作用介紹

專案名稱
    專案名稱/
        - spiders                #
爬蟲檔案 - chouti.py - cnblgos.py .... - items.py # 持久化 - pipelines # 持久化 - middlewares.py # 中介軟體 - settings.py # 配置檔案(爬蟲) scrapy.cfg # 配置檔案(部署)
View Code