經驗：

1、利用chrome的network，通過翻頁操作，快速定位到獲取資料的url
2、利用Postman，可以快速生成爬蟲的程式碼

注意點：

1、匯出csv時候，中文亂碼
2、抓取時間時候，格式轉化

程式碼：

Python網路爬蟲

一、網路爬蟲的定義

網路爬蟲，即Web Spider，是一個很形象的名字。

把網際網路比喻成一個蜘蛛網，那麼Spider就是在網上爬來爬去的蜘蛛。
網路蜘蛛是通過網頁的連結地址來尋找網頁的。

從網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它連結地址，

然後通過這些連結地址尋找下一個網頁，這樣一直迴圈下去，直到把這個網站所有的網頁都抓取完為止。

如果把整個網際網路當成一個網站，那麼網路蜘蛛就可以用這個原理把網際網路上所有的網頁都抓取下來。

這樣看來，網路爬蟲就是一個爬行程式，一個抓取網頁的程式。

網路爬蟲的基本操作是抓取網頁。

那麼如何才能隨心所欲地獲得自己想要的頁面？

我們先從URL開始。

二、瀏覽網頁的過程

抓取網頁的過程其實和讀者平時使用IE瀏覽器瀏覽網頁的道理是一樣的。

比如說你在瀏覽器的位址列中輸入 www.baidu.com 這個地址。

開啟網頁的過程其實就是瀏覽器作為一個瀏覽的“客戶端”，向伺服器端傳送了 一次請求，把伺服器端的檔案“抓”到本地，再進行解釋、展現。

HTML是一種標記語言，用標籤標記內容並加以解析和區分。

瀏覽器的功能是將獲取到的HTML程式碼進行解析，然後將原始的程式碼轉變成我們直接看到的網站頁面。

三、URI的概念和舉例

簡單的來講，URL就是在瀏覽器端輸入的 www.baidu.com 這個字串。

在理解URL之前，首先要理解URI的概念。

什麼是URI？

Web上每種可用的資源，如 HTML文件、影象、視訊片段、程式等都由一個通用資源標誌符(Universal Resource Identifier， URI)進行定位。

URI通常由三部分組成：

①訪問資源的命名機制；

②存放資源的主機名；

③資源自身 的名稱，由路徑表示。

如下面的URI：
http://www.why.com.cn/myhtml/html1223/

我們可以這樣解釋它：

①這是一個可以通過HTTP協議訪問的資源，

②位於主機 www.webmonkey.com.cn上，

③通過路徑“/html/html40”訪問。

四、URL的理解和舉例

URL是URI的一個子集。它是Uniform Resource Locator的縮寫，譯為“統一資源定位 符”。

通俗地說，URL是Internet上描述資訊資源的字串，主要用在各種WWW客戶程式和伺服器程式上。

採用URL可以用一種統一的格式來描述各種資訊資源，包括檔案、伺服器的地址和目錄等。

URL的格式由三部分組成：

①第一部分是協議(或稱為服務方式)。

②第二部分是存有該資源的主機IP地址(有時也包括埠號)。

③第三部分是主機資源的具體地址，如目錄和檔名等。

第一部分和第二部分用“