Python3爬蟲中pyspider的安裝步驟
pyspider是國人binux編寫的強大的網路爬蟲框架，它帶有強大的WebUI、指令碼編輯器、任務監控器、專案管理器以及結果處理器，同時支援多種資料庫後端、多種訊息佇列，另外還支援JavaScript渲染頁面的爬取，使用起來非常方便，本節介紹一下它的安裝過程。
1. 相關連結
官方文件：http://docs.pyspider.org/
PyPI：https://pypi.python.org/pypi/pyspider
GitHub：https://github.com/binux/pyspider
官方教程：http://docs.pyspider.org/en/latest/tutorial
線上例項：http://demo.pyspider.org
2. 準備工作
pyspider是支援JavaScript渲染的，而這個過程是依賴於PhantomJS的，所以還需要安裝PhantomJS（具體的安裝過程詳見1.2.5節）。
3. pip安裝
這裡推薦使用pip安裝，命令如下：
pip3installpyspider
命令執行完畢即可完成安裝。
4. 常見錯誤
Windows下可能會出現這樣的錯誤提示：
Command"pythonsetup.pyegg_info"failedwitherrorcode1in/tmp/pip-build-vXo1W3/pycurl
這是PyCurl安裝錯誤，此時需要安裝PyCurl庫。從http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl找到對應的Python版本，然後下載相應的wheel檔案即可。比如Windows 64位、Python 3.6，則需要下載pycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl，隨後用pip安裝即可，命令如下：
pip3installpycurl‑7.43.0‑cp36‑cp36m‑win_amd64.whl
如果在Linux下遇到PyCurl的錯誤，可以參考本文：https://www.jb51.net/article/192094.htm。
5. 驗證安裝
安裝完成之後，可以直接在命令列下啟動pyspider：
pyspiderall
此時控制檯會有類似如圖1-74所示的輸出。
這時pyspider的Web服務就會在本地5000埠執行。直接在瀏覽器中開啟http://localhost:5000/，即可進入pyspider的WebUI管理頁面，如圖1-75所示，這證明pyspider已經安裝成功了。
後面，我們會詳細介紹pyspider的用法。
到此這篇關於Python3爬蟲中pyspider的安裝步驟的文章就介紹到這了,更多相關Python3爬蟲pyspider的安裝內容請搜尋我們以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援我們！