1. 程式人生 > >使用scrapy前的環境搭建

使用scrapy前的環境搭建

9.png images 問題 roc fail process term ffffff tps

剛開始直接scrapy startproject [名稱] 創建項目才遇到挺多問題的,執行這個又會提示那個問題,解決後就覺得還好還好啦

1.pip install scrapy 提示pip 版本要升級;

You are using pip version 10.0.1, however version 10.0.1 is available.
You should consider upgrading via the ‘python -m pip install --upgrade pip‘ command.


2.python -m pip install --upgrade pip 升級時又有新問題;

(venv) D:\Fish>python -m pip install --upgrade pip

Requirement already up-to-date: pip in d:\fish\venv\lib\site-packages (10.0.1)


於是按照要求將d:\fish\venv\lib\site-packages (10.0.1) 中的pip-10.0.1.dist-info刪除,再次運行python -m pip install --upgrade pip 後升級成功

3.再執行第1步以為萬事大吉了,又有新的問題了

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools


解決這個問題有兩種方法:a.按提示安裝Visual Studio (C盤至少需要6G空間,果斷找其他方法解決);

            b.使用wheel安裝;

使用wheel安裝:pip install wheel

成功會提示successfull也可以使用wheel命令驗證是否成功,成功後是這樣

技術分享圖片

然後去https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml這個網站下載Scrapy庫,
進到網站=>搜索’Scrapy’=>下載

把下載的.whl文件放在一個容易尋找的地址(我放在了D:\)
然後在控制臺進入該地址
在該地址下輸入

pip install [whl]

註:[whl]表示你的.whl文件,一定要全名,XXXX.whl

然後,並沒有結束。。。。。

安裝過程還是有可能失敗

可能會出現Failed to build XXXX

為什麽會這樣那,因為Scrapy框架基於Twisted

所以,要做的就是去網站下載Twisted之類的安裝文件,先把它們裝上,安裝方法和上邊的相同。

註意選擇好版本號

技術分享圖片

cp代表python的版本號,32/64選擇對應你電腦的位數

最後終於成功了。
建個項目測試一下

技術分享圖片

使用scrapy前的環境搭建