scrapy常用的指令總結
1、全域性命令 scrapy -h 檢視全域性命令
1)fetch 命令主要用來顯示爬蟲的過程 顯示爬取百度的首頁 scrapy fetch http://www.baidu.com 2) --header --nolog 引數控制了展現爬蟲爬取新聞的首頁的頭資訊,和 不顯示日記資訊 scrapy fetch --header --nolog http://news.sina.com.cn/
3)runspider 可以實現不依託Scrapy的爬蟲專案,直接執行一個爬蟲檔案 scrapy runspider --loglevel=INFO first.py 4)setttings 命令檢視Scrapy對應的配置資訊 scrapy settings --get BOT_NAME
5)shell命令可以啟動Scrapy的互動終端 scrapy shell http://www.baidu.com --nolog
6)version檢視Scrapyde 版本資訊
7)view 可以實現下載某個網頁並用瀏覽器檢視功能
2、專案命令 進入某個專案目錄下 1)bench 用於測試本地硬體的效能 scrapy bench
2)genspider 命令來建立scrapy爬蟲檔案 scrapy genspider -l 3)check 實現對某個爬蟲檔案合同檢查 scrapy check gaozhen 4)crawl 啟動某個爬蟲 scrapy crawl gaozhen --loglevel=INFO
5)list命令 可以列出當前使用的爬蟲檔案 scrapy list
6)edit命令 可以直接開啟對應的編輯器對爬蟲檔案進行編輯 scrapy edit abc
7)parse 命令 可以實現獲取指定的URL網址,並使用對應的爬蟲檔案進行解析 scrapy parse http://www.baidu.com ---------------------
genspider命令 用於建立爬蟲檔案,這是一種快速建立爬蟲檔案的方式。 # scrpay genspider -t 基本格式 # basic 模板 # baidu.com 爬取的域名 scrapy genspider -t basic xxx baidu.com 此時在spider資料夾下會生成一個以xxx命名的py檔案。可以使用scrapy genspider -l檢視所有可用爬蟲模板。當前可用的爬蟲模板有:basic、crawl、csvfeed、xmlfeed https://www.jb51.net/article/144511.htm scrapy genspider -t basic zyn baidu.com 快捷建立爬蟲檔案 scrapy crawl zyn 執行py檔案 scrapy list 展示當前目錄下可以使用的爬蟲檔案 scrapy edit 直接通過編輯器開啟爬蟲檔案(win系統執行不了哦)