1. 程式人生 > >scrapy常用的指令總結

scrapy常用的指令總結

1、全域性命令 scrapy -h 檢視全域性命令

1)fetch 命令主要用來顯示爬蟲的過程 顯示爬取百度的首頁 scrapy fetch http://www.baidu.com 2)  --header --nolog 引數控制了展現爬蟲爬取新聞的首頁的頭資訊,和 不顯示日記資訊    scrapy fetch --header --nolog http://news.sina.com.cn/

3)runspider 可以實現不依託Scrapy的爬蟲專案,直接執行一個爬蟲檔案   scrapy runspider --loglevel=INFO first.py    4)setttings 命令檢視Scrapy對應的配置資訊 scrapy settings --get BOT_NAME

5)shell命令可以啟動Scrapy的互動終端 scrapy shell http://www.baidu.com --nolog

6)version檢視Scrapyde 版本資訊

7)view  可以實現下載某個網頁並用瀏覽器檢視功能

2、專案命令  進入某個專案目錄下 1)bench 用於測試本地硬體的效能 scrapy bench

2)genspider 命令來建立scrapy爬蟲檔案   scrapy genspider -l    3)check 實現對某個爬蟲檔案合同檢查 scrapy check gaozhen 4)crawl 啟動某個爬蟲 scrapy crawl gaozhen --loglevel=INFO

5)list命令  可以列出當前使用的爬蟲檔案 scrapy list

6)edit命令  可以直接開啟對應的編輯器對爬蟲檔案進行編輯 scrapy edit abc

7)parse 命令  可以實現獲取指定的URL網址,並使用對應的爬蟲檔案進行解析 scrapy parse http://www.baidu.com ---------------------   

genspider命令 用於建立爬蟲檔案,這是一種快速建立爬蟲檔案的方式。 # scrpay genspider -t 基本格式 # basic 模板 # baidu.com 爬取的域名 scrapy genspider -t basic xxx baidu.com 此時在spider資料夾下會生成一個以xxx命名的py檔案。可以使用scrapy genspider -l檢視所有可用爬蟲模板。當前可用的爬蟲模板有:basic、crawl、csvfeed、xmlfeed https://www.jb51.net/article/144511.htm scrapy genspider -t basic zyn baidu.com 快捷建立爬蟲檔案 scrapy crawl zyn 執行py檔案 scrapy list 展示當前目錄下可以使用的爬蟲檔案 scrapy edit 直接通過編輯器開啟爬蟲檔案(win系統執行不了哦)