環境：win10-64位、python3.6

安裝依賴

1. 安裝lxml
   pip install lxml

2. 安裝zope.interface
   pip install zope.interface

3. 安裝wheel
   pip inatall wheel

4. 安裝twisted
   在網站：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
   下載對應的twisted安裝即可。(cp36表示Python36，win_amd64表示windows64位。)
   pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl

   
   ps：此命令是在Twisted-18.9.0-cp36-cp36m-win_amd64.whl所在的目錄下執行的。

5. 安裝pyOpenSSL
   pip install pyOpenSSL

6. 安裝pywin32
   pip install pywin32

安裝scrapy

pip install scrapy
到此scrapy安裝成功。

建立Scrapy專案

scrapy startproject xiaozhu

Scrapy檔案介紹

items.py
定義爬取欄位

piplines.py
爬蟲資料處理, 入庫

settings.py
專案設定

myspider.py
使用者自建檔案, 編寫爬蟲邏輯

Scrapy爬蟲執行

第一種方式：命令列

scrapy crawl xiaozhu

第二種方式：py檔案

在爬蟲專案中新建main.py，檔名自定義。

from scrapy import cmdline
cmdline.execute('scrapy crawl xiaozhu'.split())