pyspider是國人binux編寫的強大的網絡爬蟲框架，它帶有強大的WebUI、腳本編輯器、任務監控器、項目管理器以及結果處理器，同時支持多種數據庫後端、多種消息隊列，另外還支持JavaScript渲染頁面的爬取，使用起來非常方便。

pyspider是支持JavaScript渲染的，而這個過程是依賴於PhantomJS的，所以還需要安裝PhantomJS。

官方文檔：http://docs.pyspider.org/
PyPI：https://pypi.python.org/pypi/pyspider
GitHub：https://github.com/binux/pyspider
官方教程：http://docs.pyspider.org/en/latest/tutorial
在線實例：http://demo.pyspider.org

一、安裝pyspider

pip3 install pyspider

Windows下可能會出現這樣的錯誤提示：

Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-vXo1W3/pycurl

這是PyCurl安裝錯誤，此時需要先安裝PyCurl庫。http://www.lfd.uci.edu/~gohlke/pythonlibs/#pycurl

啟動pyspider：

pyspider all

這時pyspider的Web服務就會在本地5000端口運行。直接在瀏覽器中打開http://localhost:5000/，即可進入pyspider的WebUI管理頁面

pyspider爬蟲框架的安裝和使用