參考：http://www.open-open.com/lib/view/open1420624463656.html

抓取網站的代碼實現很多，如果考慮到抓取下載大量內容，scrapy框架無疑是一個很好 的工具。下面簡單列出安裝過程。PS：一定要按照Python的版本下載，要不然安裝的時候會提醒找不到Python。

1.安裝Python

安裝完了記得配置環境，將python目錄和python目錄下的Scripts目錄添加到系統環境變量的Path裏（在python2.7以後版本中，安裝過程中會有個選項：添加到python到path，勾選即可）。在cmd中輸入python如果出現版本信息說明配置完畢（如下面截圖）。python下載地址:https://www.python.org/downloads/。

2.安裝setuptools 或者 pip
ubuntu linux: sudo apt-get install python-pip

windows:點擊https://pypi.python.org/pypi/pip 下載pip-6.1.1.tar.gz (md5, pgp)

解壓後進入文件夾執行：python setup.py install

或者直接下載exe文件進行安裝，下載地址為：http://www.lfd.uci.edu/~gohlke/pythonlibs/#pip

3.安裝lxml

lxml是一種使用 Python 編寫的庫，可以迅速、靈活地處理 XML。選擇對應的Python版本安裝。；

安裝命令：pip install lxml

驗證是否安裝成功：>>>import lxml

4.安裝zope.interface，安裝命令：

pip install zope.interface

5.安裝Twisted

Twisted是用Python實現的基於事件驅動的網絡引擎框架，安裝命令：

pip install twisted

6.安裝pyOpenSSL

pyOpenSSL是Python的OpenSSL接口，安裝命令：

pip install pyopenssl

7.安裝win32py （windows需要）

提供win32api，點擊 http://sourceforge.net/projects/pywin32/files/pywin32/下載

8.安裝Scrapy

easy_install scrapy

或者：pip install scrapy

9.測試是否scrapy可用:

scrapy bench

安裝完成，開始使用吧！

Scrapy 安裝