1. 程式人生 > >關於在Windows下pip install Scrapy的若干問題小結

關於在Windows下pip install Scrapy的若干問題小結

比起Linux,在windows中安裝各種python外接庫的過程簡直痛苦不堪,這裡以Scrapy為例,直接進入正題。

  • 問題一、 python版本的選擇
  • 問題二、 vc++編譯器未找到—— Unable to find vcvarsall.bat
  • 問題三、 無法開啟包括檔案: “libxml/xpath.h”/”libxml/xmlversion.h”: No such file or directory

一、 python版本的選擇

目前最新的Scrapy版本已經到了1.2.1,已經支援Python3.4和3.5,適配性和穩定性均比python2.7要更加的出色。如果不是對於版本有嚴格的限制,建議使用3.4以上的pyhon版本。

二、 vc++編譯器未找到—— Unable to find vcvarsall.bat

這裡先以python3.4,pip8.1.1,Scrapy1.2.1為例。
Python3.4下安裝Scrapy1.2.1需要VC++10(對應VS2010)的支援,

這裡我們需要安裝VS2010以上版本的Visual Studio,如果安裝了2010版本,則直接解決。
如果是更高的版本,在命令列下按照版本鍵入以下命令:
Visual Studio 2012 (VS11): SET VS100COMNTOOLS=%VS110COMNTOOLS%
Visual Studio 2013 (VS12): SET VS100COMNTOOLS=%VS120COMNTOOLS%
Visual Studio 2015 (VS14): SET VS100COMNTOOLS=%VS140COMNTOOLS%
如此便解決了python對於C編譯器的要求問題。
另外也可以直接新增環境變數,變數名 VS100COMNTOOLS 變數值對應版本的內容,如筆者安裝的是VS2013則為%VS120COMNTOOLS%,儲存即可。和上述在命令列下的操作是同一原理。

其他版本的python是一樣的原理,如python2.7需要VS2008的支援,則SET VS90COMNTOOLS即可(python2.7有獨立可用的微軟C++編譯器,可前往 https://www.microsoft.com/en-us/download/details.aspx?id=44266 直接下載安裝即可)。

值得一提的是,python3.5需要vs2015的編譯器才能滿足需求,不過這裡微軟已經為python3.5適配了新的Visual C++ Build Tools,可以不安裝vs2015,但也需要6G左右的硬碟空間(吐槽一下機器裡的Visual Studio想要完完全全換個版本實在是太難了)。

三、 無法開啟包括檔案: “libxml/xpath.h”/”libxml/xmlversion.h”: No such file or directory

可以直接前往 https://pypi.python.org/pypi/lxml 下載對應作業系統和python版本的lxml並且安裝即可。
若下載的.exe檔案,則無需wheel,直接開啟安裝即解決問題;
若下載的是.whl檔案,則需要先安裝wheel才能完成安裝。(pip install wheel即可)

相關推薦

關於在Windowspip install Scrapy若干問題小結

比起Linux,在windows中安裝各種python外接庫的過程簡直痛苦不堪,這裡以Scrapy為例,直接進入正題。 問題一、 python版本的選擇 問題二、 vc++編譯器未找到—— Unable to find vcvarsall.bat 問題三、

python3.x+windowspip install 出現unable to find vcvasall.bat 的解決辦法

最近剛開始學python,一開始還挺順利的。但是在後面要學資料分析和資料探勘時要用到很多科學計算的模組。我當然首先會想到用pip install 去安裝了。但是安裝numpy模組時,系統報unable to find vcvasall.bat錯誤。就開始goog

windows 10 pip install 報錯【PermissionError: [WinError 32] 另一個程式正在使用此檔案,程序無法訪問。】

1、在windows 10 下使用 pip 3 執行 pip install pathos 報錯 Exception: Traceback (most recent call last):   File "C:\ProgramData\Anaconda3\lib\s

python windows環境 pip install itchat 失敗的原因

找到python安裝目錄下的scripts檔案物理路徑,cd進去然後輸入命令即可 cd D:\Program Files\Python36\Scripts  我的python安裝目錄是這個,根據自己的安裝目錄即可 。。。。。 看到如圖所示,恭喜你,你已經成功

python windows pip easy_install 使用錯誤的問題

log 路徑和 csdn 安裝包 launcher 裝包 python安裝 detail tails 最近電腦重裝了系統,又重新安裝python 。在官網下載了安裝包後電腦成功安裝了,但使用pip命令時出現以下錯誤 Fatal error in l

windowspip安裝包權限的問題

繼續 我的電腦 sci src 問題 mage class cmd 放棄 md嗶了狗了,把scipy弄崩了,還順帶把numpy弄崩了。。。 然後安裝包一直權限不允許: 於是按照下面這篇博客以管理員運行cmd,結果還是沒卵用 http://www.cnblogs.com

windowspip安裝python模塊時報錯

linear 安裝 options div margin ont oat str spl windows下pip安裝python模塊時報錯總結前言: 轉載必須標明出處!!!   這幾天把python版本升級後,發現pip安裝模塊好多都報錯(暫不確定是不是因

python2.xpip install mysql-python報錯解決辦法

分享圖片 alt info pan www. 下載 ima sql pytho 在https://www.lfd.uci.edu/~gohlke/pythonlibs/#mysql-python 下載該驅動網盤鏈接:https://pan.baidu.com/s/1r0

ubuntu16.04 pip install scrapy 報錯處理

libs site libffi span ESS for -i ssl col Failed building wheel for Twisted inculde/site/python3.5/Twisted failed with error code 1 in tm

pip install scrapy報錯

環境:python3.6.3  error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Vis

windowspip命令下載python庫慢解決方法。

宣告:我的部落格主要用來記錄自己的學習過程,當然啦,能幫助到小夥伴們也是極好的。 在我們直接在終端輸入 pip install 庫名稱時,會非常慢,我的在10kb/s下,非常慢,90多兆的要下3個小時。怎麼辦呢???上大招!!! 輸入    pip install 庫名稱

windowspip安裝mysqlclient失敗

環境 windows8家庭版 python3.6.7 在虛擬環境中pip install mysqlclient報錯 解決方案 下載地址 ctrl+f鍵入mysqlclient,找到對應的版

Python: Windowspip安裝庫出錯:Microsoft Visual C++ 9.0 is required < Unable to find vcvarsall.bat

一直在用Linux, 最近想在windows下使用python。  當我想安裝Matplotlib module的時候, 出現以下錯誤。Microsoft Visual C++ 9.0 is required < Unable to find vcvarsall.ba

windowspip安裝python模組時報錯解決方法

1.使用pip安裝python模組時報錯如下 Exception: Traceback (most recent call last): File “C:\Program Files\Python36\lib\shutil.py”, line 544, in m

pip install Scrapy報錯及解決方法

以下是我個人在安裝scrapy時遇見的問題及我的解決方法 (1)執行命令 pip install Scrapy 在執行到“Collecting Twisted>=13.1.0 (from S

python機器學習包 Windows pip安裝 scikit-learn numpy scipy

1.到PIP的目錄中C:\Python34\Scripts;2. 2.1  pip安裝numpy pip install numpy 2.2  pip安裝sklearn pip install -U scikit-learn   2.3  pip安裝scipy(注:sklearn 依賴

win7 pip install package 報錯解決辦法

首先我的python版本是2.7.6,沒有預設安裝pip,去官網瞅了一眼發現2.7.9和3.4及以上版本已經內建了pip,那還廢話什麼立馬去更新到2.7.9(請允許我吐槽公司網速!) 更新之後,在D:\Python27目錄下並沒有Scripts這個資料夾,什麼

windows安裝python+scrapy

最近忽然有了想要學習python爬蟲的想法,但是首先需要安裝工具。python安裝倒是很輕鬆,只要傻瓜式一鍵安裝即可,但是在Windows下安裝scrapy倒不是件容易的事情。言歸正傳,說下我從昨天下午到今天上午安裝的步驟:1、python的安裝根據自己的機型,選擇下載對應的安裝包,我下載的是python 3

pip install scrapy,提示安裝lxml包安裝失敗的解決方案

開發環境:python 2.7.12 系統:windows10 錯誤提示:make sure the development packages of libxml2 and libxslt are installed 錯誤原因猜想:因為pip安裝時會安裝最

ubuntu 16.04 pip install 使用豆瓣源加速

安裝caffe2 的環境時,pip install protobuf 一直顯示time out,一開始以為是系統其他變數有問題,結果發現其實是因為使用國外的源太慢了,國內最推薦的就是豆瓣源,其地址是 http://pypi.douban.com/simple/。具體使用命令為