小小粉刷匠升級版(區間dp)
Scrapy 框架
Scrapy是用純Python實現一個為了爬取網站資料、提取結構性資料而編寫的應用框架，用途非常廣泛。
框架的力量，使用者只需要定製開發幾個模組就可以輕鬆的實現一個爬蟲，用來抓取網頁內容以及各種圖片，非常之方便。
Scrapy 使用了 Twisted’twɪstɪd非同步網路框架來處理網路通訊，可以加快我們的下載速度，不用自己去實現非同步框架，並且包含了各種中介軟體介面，可以靈活的完成各種需求。
Scrapy架構圖(綠線是資料流向)：
1.Scrapy Engine(引擎): 負責Spider、ItemPipeline、Downloader、Scheduler中間的通訊，訊號、資料傳遞等。
3.Downloader（下載器）：負責下載Scrapy Engine(引擎)傳送的所有Requests請求，並將其獲取到的Responses交還給Scrapy Engine(引擎)，由引擎交給Spider來處理，
4.Spider（爬蟲）：它負責處理所有Responses,從中分析提取資料，獲取Item欄位需要的資料，並將需要跟進的URL提交給引擎，再次進入Scheduler(排程器)，
5.Item Pipeline(管道)：它負責處理Spider中獲取到的Item，並進行進行後期處理（詳細分析、過濾、儲存等）的地方.
7.Spider Middlewares（Spider中介軟體）：你可以理解為是一個可以自定擴充套件和操作引擎和Spider中間通訊的功能元件（比如進入Spider的Responses;和從Spider出去的Requests）
Scrapy的運作流程
程式碼寫好，程式開始執行…
1.引擎：Hi！Spider, 你要處理哪一個網站？
2.Spider：老大要我處理xxxx.com。
3.引擎：你把第一個需要處理的URL給我吧。
4.Spider：給你，第一個URL是xxxxxxx.com。
6.排程器：好的，正在處理你等一下。
7.引擎：Hi！排程器，把你處理好的request請求給我。
8.排程器：給你，這是我處理好的request
9.引擎：Hi！下載器，你按照老大的下載中介軟體的設定幫我下載一下這個request請求
10.下載器：好的！給你，這是下載好的東西。（如果失敗：sorry，這個request下載失敗了。然後引擎告訴排程器，這個request下載失敗了，你記錄一下，我們待會兒再下載）
11.引擎：Hi！Spider，這是下載好的東西，並且已經按照老大的下載中介軟體處理過了，你自己處理一下（注意！這兒responses預設是交給def parse()這個函式處理的）
12.Spider：（處理完畢資料之後對於需要跟進的URL），Hi！引擎，我這裡有兩個結果，這個是我需要跟進的URL，還有這個是我獲取到的Item資料。
13.引擎：Hi ！管道 我這兒有個item你幫我處理一下！排程器！這是需要跟進URL你幫我處理下。然後從第四步開始迴圈，直到獲取完老大需要全部資訊。
14.管道``排程器：好的，現在就做！
注意：只有當排程器沒有request需要處理時，整個程式才會停止。（對於下載失敗的URL，Scrapy也會重新下載。）
製作 Scrapy 爬蟲 一共需要4步：
1.新建專案 (scrapy startproject xxx)：新建一個新的爬蟲專案
2.明確目標 （編寫items.py）：明確你想要抓取的目標
3.製作爬蟲 （spiders/xxspider.py）：製作爬蟲開始爬取網頁
4.儲存內容 （pipelines.py）：設計管道儲存爬取內容
配置安裝
Scrapy的安裝介紹
Scrapy框架官方網址：
http://doc.scrapy.org/en/latest
Scrapy中文維護站點：http://scrapychs.readthedocs.io/zh_CN/latest/index.html
Ubuntu安裝方式
1.新建虛擬環境
2.通過pip 安裝 Scrapy 框架 sudo pip install scrapy
3.安裝後，只要在命令終端輸入 scrapy，提示類似以下結果，代表已經安裝成功
具體Scrapy安裝流程參考：http://doc.scrapy.org/en/latest/intro/install.html#intro-install-platform-notes 裡面有各個平臺的安裝方法