從scrapy框架搭建入門python包的安裝
一、安裝思路
1.從官網進行對應whl檔案的下載(下面通過python2.7安裝scrapy將詳細解釋如何下載和安裝whl檔案)
當pip install XXXX失敗的時候,進入對應的https://pypi.python.org/pypi/XXXX網站,有的會直接給出表格file,然後選擇對應的你安裝的python版本進行安裝即可;有的沒有表格,這時候在頁面中找到Download URL,然後點進去就是對應的下載連結。一般python2需要的包都可以在官網找到。
2.從http://www.lfd.uci.edu/~gohlke/pythonlibs/進行對應檔案的下載
官網有些包給出的版本非常有限,尤其是很多包還沒有官方的python3版本如Twisted,這時候有兩種解決方案,一種是直接在Github上下載原始碼然後剪下到site-package內,另外一種就是在這個網站內下載,通過http://www.lfd.uci.edu/~gohlke/pythonlibs/XXXX即可直接跳轉對應連結。很多python3要求的包都只能在GitHub和這個網站裡找到。
3.最省心但可能是另外一個坑的方案:.安裝Anaconda全家桶,從此一鍵安裝不用愁
Anaconda也分為2和3的版本,根據你選擇的python版本對應進行安裝。但是Anaconda安裝也會遇到很多坑,詳情可以參考這個連結:https://zhuanlan.zhihu.com/p/25198543
二、python安裝教程
1.安裝python
從python官網中下載python,選擇2或者3的版本,地址為https://www.python.org/downloads/。msi檔案可以直接執行,按部就班的安裝好之後開始配置環境變數。
2.配置環境變數
右鍵單擊我的電腦(計算機/此電腦)-屬性-高階系統設定-環境變數-點選(系統變數(S)中的)Path-編輯-新建-在出現的空格中輸入你安裝python的路徑。如果你沒有更改安裝路徑,python2的環境變數預設為C:\Python27
注:win10系統桌面沒有‘我的電腦’解決方案:右鍵單擊桌面-個性化-主題-桌面圖示設定-勾選計算機,點確定即可。
3.pip安裝教程
pip官網下載地址為https://pypi.python.org/pypi/pip。下載完畢之後先解壓,把解壓之後的資料夾移到python所在的資料夾裡,然後在CMD中使用python setup.py install命令進行安裝。安裝完畢後也需要配置環境變數,將pip所處的位置填入path變數。如果安裝的時候沒有修改環境路徑,python2.7版本填入地址為C:\Python27\Scripts;如果修改了環境路徑,可以在左下角鍵入pip,回車,右鍵點選彈出的最佳匹配,點'開啟檔案所在的位置'即可找到pip安裝路徑。(同理,如果安裝完python或者pycharm之類的檔案找不到圖示在哪,都可以在左下角搜尋框中找到)
注:如果電腦上同時配置了python2和python3,對python3進行安裝的時候要用命令:pip3 install XXXX。
4.IDLE
IDLE是python自帶的編輯器,建議新手先使用IDLE進行程式設計,較為熟悉之後再用pycharm等,因為互動式的IDLE能讓人立即反應過來自己出錯。從搜尋框開啟IDLE之後,右鍵單擊螢幕最下方工作列中的IDLE圖示,選擇固定到工作列(建議把CMD也固定到工作列,因為前期可能經常要用)
三、scrapy安裝教程
1.wheel包安裝
pip install wheel即可安裝wheel。如果想安裝最新版本,可以進入連結https://pypi.python.org/pypi/wheel下載或者直接pip install wheel==0.30.0a0。
注:pip install XXXX==x.x(X表示字母,x表示數字或字母)是安裝對應指定版本的python包的方法,因為系統自動pip安裝的包有些時候不符合版本要求,又或者一些版本最新的包並不能支援你所需要的功能,如Twisted17.1.0就無法支援scrapy,此時就需要指定版本進行安裝。另外,這個方法也可以用於更新到最新版本。如果輸入一個錯誤的X.X,CMD中將會返回所有正確的版本,此時可以隨便選擇喜歡的版本進行安裝。
2.下載scrapy環境搭建需要的支援包(在此列出的都是python2最新版本或者需要的版本,請按順序下載,python3的使用者如果發現對應連結中沒有你需要的版本,請在http://www.lfd.uci.edu/~gohlke/pythonlibs中統一下載)
①lxml:https://pypi.python.org/pypi/lxml/3.8.0
②setuptools:https://pypi.python.org/pypi/setuptools/36.0.1
③zope.interface:https://pypi.python.org/pypi/zope.interface/4.4.1
④Twisted:https://pypi.python.org/pypi/Twisted/13.1.0(python2.7要求版本為13.1.0.python3.6可以用16.6.0的版本)
⑤OpenSSL:https://pypi.python.org/pypi/pyOpenSSL/17.0.0
⑥pywin32:https://pypi.python.org/pypi/pywin32(這個需要跳轉到其他連結下載)
3.安裝支援包
統一在CMD中用pip install XXXX(檔名)進行安裝,如:pip install lmxl-3.8.0-cp27-cp27m-win32.whl。如果安裝報錯,那可能是pip版本問題。查詢pip支援版本方法:在IDLE中輸入:import pip,回車,pip.pep425tags.get_supported()。如果顯示出的版本都是形如('cp27', 'none', 'win32')這樣的,就把whl檔案檔名改為lmxl-3.8.0-cp27-none-win32.whl(也就是把cp27m改為none),python3的版本同理修改。修改檔名之後在CMD中執行pip install lmxl-3.8.0-cp27-none-win32.whl,就能成功安裝whl檔案。
4.安裝及驗證scrapy
至此,python已經安裝完畢,環境變數也已經配置好,pip和wheel包以及各種scrapy需要的支援包也全部安裝完畢,想必你已經迫不及待的要pip install scrapy了。但是還不行,你還需要下載一個Microsoft Visual C++ 9.0(python2對應,也叫Microsoft Visual C++ 2008)或者Microsoft Visual C++ 14.0(python3對應,也叫Microsoft Visual C++ 2015),python2和python3分別有指定的版本要求。
9.0下載地址:http://www.jb51.net/softs/73040.html
14.0下載地址:http://www.jb51.net/softs/402927.html
安裝完畢之後,就可以pip install scrapy了!安裝完畢之後在IDLE中import scrapy,如果成功,再在cmd中輸入scrapy startproject 專案名,如scrapy startproject firsttest。如果也成功建立專案,就說明scrapy框架正式搭建完畢。恭喜!
四、後記
請務努力瞭解GitHub,作為一門開源語言,當你熟悉python之後,你會發現從GitHub上面獲取各種包才是最方便快捷的方式