Scrapy安裝方法
阿新 • • 發佈:2017-08-20
格式 平臺 anaconda version 輸入 help 有用 scrapy安裝 tps Scrapy安裝在Python2.7環境下
1、配置環境變量:
2、安裝基礎軟件 4個(64位系統)
安裝twisted:
C:\Users\Administrator>pip install -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com twisted==13.1.0
twisted版本不能太高,裝最新17版的會無故報錯,很無語!
3、安裝scrapy
C:\Users\Administrator>pip install -i https://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com Scrapy
驗證:C:\Users\Administrator>Scrapy
圖示標識安裝成功!
4、查看scrapy組件信息:
命令行:scrapy version -v
基礎命令:輸入的格式 scrapy+命令
help:scrapy的基本命令,用於查看幫助信息。
version:查看版本信息,可見-v參數查看各組件的版本信息;
startproject name:用於新建一個工程
genspider name :新建一個爬蟲
list:列出工程中都有那些spider
view: +url 查看也頁面源碼在瀏覽器中顯示的樣子
parse:+url 解析頁面的指定函數
shell:+url 一個非常有用的命令,可用於調試數據、檢測xpath、查看頁面源碼,等等。
runspider:運行自包含的爬蟲
bench:執行一個基準測試;可用來檢測scrapy是否安裝成功;
另外一種快捷安裝方法:
安裝anaconda數據挖掘平臺
進入anaconda 下載需要的對應Python版本和操作系統的anaconda
安裝好後,進入它的shell環境
輸入命令:conda install -c sprapinghub scrapy
進入對應的Python版本環境中,
import scrapy,可看到scrapy安裝成功!
Scrapy安裝方法