Scrapy是一個十分強大的爬蟲框架，依賴的庫比較多，至少需要依賴的庫有Twisted 14.0、lxml 3.4和pyOpenSSL 0.14。在不同的平臺環境下，它所依賴的庫也各不相同，所以在安裝之前，最好確保把一些基本庫安裝好。
官方網站：https://scrapy.org
官方文檔：https://docs.scrapy.org
PyPI：https://pypi.python.org/pypi/Scrapy
GitHub：https://github.com/scrapy/scrapy
中文文檔：http://scrapy-chs.readthedocs.io

一、安裝Scrapy

如果你的Python是使用Anaconda安裝的

conda install Scrapy

Windows下的安裝
下載安裝pyOpenSSL https://pypi.python.org/pypi/pyOpenSSL#downloads
下載安裝Twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
下載安裝PyWin32 https://sourceforge.net/projects/pywin32/files/pywin32/Build%20221/
pip3 install Scrapy

CentOS和Red Hat

sudo yum groupinstall -y development tools
sudo yum install -y epel-release libxslt-devel libxml2-devel openssl-devel
pip3 install Scrapy

Ubuntu、Debian和Deepin

sudo apt-get install build-essential python3-dev libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
pip3 install Scrapy

Scrapy爬蟲框架的安裝和使用