1. 程式人生 > >Python3安裝Scrapy

Python3安裝Scrapy

目前 新的 src amd 文件夾 python2 就會 install soft

Microsoft Visual C++ Build Tools

  最近項目在寫爬蟲,項目經理給了個Python Scrapy的爬蟲項目,要求使用Java實現相關功能。於是乎在本地先後安裝了Python3和Scrapy,在安裝Scrapy時出現了個小插曲,現在總結如下:

  第一、安裝Scrapy

  查看網上安裝scrapy,網友基本就是告訴你使用命令: pip install scrapy

然而、不是很熟悉Python的時候,就會發現根本找不到pip命令,這裏不是說在PTAH中配置了Python的環境變量就可以了,這是因為pip在python安裝目錄的Scripts文件夾中。如圖:

技術分享圖片

所以、這裏還需要將Scripts加入環境變量PATH中,這樣就可以直接使=使用命令行的方式安裝Scrapy了。

技術分享圖片

  當你設置好環境變量後,準備安裝Scrapy時,你又會驚喜的發現安裝過程報了個錯誤:

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

  第二、安裝Wheel  

  這個錯誤是在安裝Scrapy所需要的中間件Twisted時,所需要的編譯工具,如果你老老實實的去下載 Microsoft Visual C++ Build Tools,你就會發現這個工具不是一般的大,而且據網友反映,安裝後依然無法安裝Scrapy;現在、教你用另一種方式安裝:

1.執行命令:pip install wheel

2.手動下載:Twisted文件,網址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

  註意:這裏你要下載和你本地的Python版本一致的Twisted文件;字符cp後為python的版本,即27表示Python2,7,36表示Python3.6,目前最新的穩定版是Python3,6

  技術分享圖片

3.安裝Twisted:pip install [你下載的Twisted文件在本地的路徑],如:pip install E://Twisted...cp36....amd64.whl

4.安裝Scrapy:pip install scrapy

  以上各步驟都執行成功後,即可創建Scrapy爬蟲項目了。小夥伴、有木有很期待。

Python3安裝Scrapy