1. 程式人生 > >window python3 安裝pip和scrapy,lxml 過程和出錯解決

window python3 安裝pip和scrapy,lxml 過程和出錯解決

如果需要轉載請私信,並說明出處連結,謝謝合作

自己爬過的坑。。。。。
我的環境:win7
python :3.5

一.先在cmd下 進入Python的安裝目錄。
例:C:\Users\asus>cd /d D:\Python\Python35-32

    然後在安裝目錄下輸入 easy_install pip

如果提示 缺少 setuptool 模組,有的是自帶的,沒有的話,可以自行百度Google下載,然後放到Python的安裝目錄下,放心不是很難。

二.現在開始安裝scrapy或者lxml。

    cmd安裝目錄下輸入 pip install scrapy。

要下載的,所以要視網速而等。
然後可能會發現報錯,“Unable to find vcvarsall.bat ”
這個問題就是沒安裝微軟的 virtual studio ,少了這個.bat,安裝virtual studio時要勾選什麼Python包什麼的。但是virtual studio 太大了,而且版本什麼的太麻煩,現在推薦下面這種。
解決辦法:

1.pip install wheel

2.在這裡下載對應的.whl檔案,注意別改檔名
網址: http://www.lfd.uci.edu/~gohlke/pythonlibs/#scrapy
按Ctrl+F ,輸入lxml ,找到下面這段
lxml-3.6.4-cp27-cp27m-win32.whl
lxml-3.6.4-cp27-cp27m-win_amd64.whl
lxml-3.6.4-cp34-cp34m-win32.whl
lxml-3.6.4-cp34-cp34m-win_amd64.whl
lxml-3.6.4-cp35-cp35m-win32.whl
lxml-3.6.4-cp35-cp35m-win_amd64.whl
cp後面是Python的版本號,35表示3.5,根據你的Python版本下載。
然後放到你的Python安裝目錄下

pip install 完整的.whl檔名和字尾。

4.重新安裝scrapy 。

pip install scrapy 

沒有報錯說明成功了,
自己重啟編譯器 試下。

import scrapy

看是否成功。
還有,可能你程式碼寫完了,在用scrapy框架的時候。
當你開始爬蟲的時候,輸入

scrapy crawl 你spider的名字

可能會出現

ImportError: cannot import name '_win32stdio'

解決辦法就是:

pip install twisted-win

然後重新輸入

scrapy crawl 你spider的名字

啟動爬蟲
這裡寫圖片描述

如果
出現了 Crawled (200)
那麼就恭喜你成功了。
注:
scrapy所需要的依賴包

        pywin32  
        Twisted 
        zope.interface 
        lxml 
        pyOpenSSL

可能每個人不一樣。但是看控制檯的資訊,缺什麼就 pip install 什麼,但是一定要把包的名字敲對。