window python3 安裝pip和scrapy,lxml 過程和出錯解決
如果需要轉載請私信,並說明出處連結,謝謝合作
自己爬過的坑。。。。。
我的環境:win7
python :3.5
一.先在cmd下 進入Python的安裝目錄。
例:C:\Users\asus>cd /d D:\Python\Python35-32
然後在安裝目錄下輸入 easy_install pip
如果提示 缺少 setuptool 模組,有的是自帶的,沒有的話,可以自行百度Google下載,然後放到Python的安裝目錄下,放心不是很難。
二.現在開始安裝scrapy或者lxml。
cmd安裝目錄下輸入 pip install scrapy。
要下載的,所以要視網速而等。
然後可能會發現報錯,“Unable to find vcvarsall.bat ”
這個問題就是沒安裝微軟的 virtual studio ,少了這個.bat,安裝virtual studio時要勾選什麼Python包什麼的。但是virtual studio 太大了,而且版本什麼的太麻煩,現在推薦下面這種。
解決辦法:
1.pip install wheel
2.在這裡下載對應的.whl檔案,注意別改檔名
網址: http://www.lfd.uci.edu/~gohlke/pythonlibs/#scrapy
按Ctrl+F ,輸入lxml ,找到下面這段
lxml-3.6.4-cp27-cp27m-win32.whl
lxml-3.6.4-cp27-cp27m-win_amd64.whl
lxml-3.6.4-cp34-cp34m-win32.whl
lxml-3.6.4-cp34-cp34m-win_amd64.whl
lxml-3.6.4-cp35-cp35m-win32.whl
lxml-3.6.4-cp35-cp35m-win_amd64.whl
cp後面是Python的版本號,35表示3.5,根據你的Python版本下載。
然後放到你的Python安裝目錄下
pip install 完整的.whl檔名和字尾。
4.重新安裝scrapy 。
pip install scrapy
沒有報錯說明成功了,
自己重啟編譯器 試下。
import scrapy
看是否成功。
還有,可能你程式碼寫完了,在用scrapy框架的時候。
當你開始爬蟲的時候,輸入
scrapy crawl 你spider的名字
可能會出現
ImportError: cannot import name '_win32stdio'
解決辦法就是:
pip install twisted-win
然後重新輸入
scrapy crawl 你spider的名字
啟動爬蟲
如果
出現了 Crawled (200)
那麼就恭喜你成功了。
注:
scrapy所需要的依賴包
pywin32
Twisted
zope.interface
lxml
pyOpenSSL
可能每個人不一樣。但是看控制檯的資訊,缺什麼就 pip install 什麼,但是一定要把包的名字敲對。