安裝scrapy 爬蟲框架

個人根據學習需要，在Windows搭建scrapy爬蟲框架，搭建過程種遇到個別問題，共享出來作為記錄。

1.安裝python 2.7

1.1下載

下載地址

1.2配置環境變量

以下內容添加到PATH中

C:\Python27\;C:\Python27\Scripts\;

打開CMD運行如下內容：

c:\python27\python.exe c:\python27\tools\scripts\win_add2path.py

1.3檢驗是否成功

python --version

2.檢查pip

python安裝過程中，會把pip安裝好

查看方法CMD輸入

pip --version

若未安裝，請參考如下連接

參考連接

安裝pywin32

3.安裝pywin32

pip install pywin32

4.安裝Scrapy

4.1安裝命令

pip install Scrapy

4.2驗證安裝是否成功

python

>>>import scrapy

不報錯，則表示安裝成功。

4.3創建項目

CMD切換要安裝的目錄下

scrapy startproject tutorial

運行成功後，該目錄下生成如下文檔結構

tutorial/
    scrapy.cfg
    tutorial
 
/
        __init__.py
        items.py
        pipelines.py
        settings.py
        spiders/
            __init__.py
            ...

Scrapy爬蟲框架搭建完成。

5.常見問題

5.1.缺少C++組件

下載地址

安裝完成後，無需重啟電腦。

5.2.pip版本低

執行如下命令進行升級

python -m pip install  --upgrade pip

參考：

https://scrapy-chs.readthedocs.io

安裝scrapy 爬蟲框架