Python3安裝Scrapy
Microsoft Visual C++ Build Tools
最近項目在寫爬蟲,項目經理給了個Python Scrapy的爬蟲項目,要求使用Java實現相關功能。於是乎在本地先後安裝了Python3和Scrapy,在安裝Scrapy時出現了個小插曲,現在總結如下:
第一、安裝Scrapy
查看網上安裝scrapy,網友基本就是告訴你使用命令: pip install scrapy
然而、不是很熟悉Python的時候,就會發現根本找不到pip命令,這裏不是說在PTAH中配置了Python的環境變量就可以了,這是因為pip在python安裝目錄的Scripts文件夾中。如圖:
所以、這裏還需要將Scripts加入環境變量PATH中,這樣就可以直接使=使用命令行的方式安裝Scrapy了。
當你設置好環境變量後,準備安裝Scrapy時,你又會驚喜的發現安裝過程報了個錯誤:
error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools
第二、安裝Wheel
這個錯誤是在安裝Scrapy所需要的中間件Twisted時,所需要的編譯工具,如果你老老實實的去下載 Microsoft Visual C++ Build Tools,你就會發現這個工具不是一般的大,而且據網友反映,安裝後依然無法安裝Scrapy;現在、教你用另一種方式安裝:
1.執行命令:pip install wheel
2.手動下載:Twisted文件,網址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
註意:這裏你要下載和你本地的Python版本一致的Twisted文件;字符cp後為python的版本,即27表示Python2,7,36表示Python3.6,目前最新的穩定版是Python3,6
3.安裝Twisted:pip install [你下載的Twisted文件在本地的路徑],如:pip install E://Twisted...cp36....amd64.whl
4.安裝Scrapy:pip install scrapy
以上各步驟都執行成功後,即可創建Scrapy爬蟲項目了。小夥伴、有木有很期待。
Python3安裝Scrapy