這是簡易資料分析系列的第 12 篇文章。

前面幾篇文章我們介紹了 Web Scraper 應對各種翻頁的解決方法，比如說修改網頁連結載入資料、點選“更多按鈕“載入資料和下拉自動載入資料。今天我們說說一種更常見的翻頁型別——分頁器。

本來想解釋一下啥叫分頁器，翻了一堆定義覺得很繁瑣，大家也不是第一年上網了，看張圖就知道了。我找了個功能最全的例子，支援數字頁碼調整，上一頁下一頁和指定頁數跳轉。

今天我們就學學，Web Scraper 怎麼對付這種型別的網頁翻頁。

其實我們在本教程的第一個例子，抓取豆瓣電影 TOP 排行榜中，豆瓣的這個電影榜單就是用分頁器分割資料的：

但當時我們是找網頁連結規律抓取的，沒有利用分頁器去抓取。因為當一個網頁的連結變化規律時，控制連結引數抓取是實現成本最低的；如果這個網頁進可以翻頁，但是連結的變化不是規律的，就得去會一會這個分頁器了。

說這些理論有些枯燥，我們舉個翻頁連結不規律的例子。

8 月 2 日是蔡徐坤的生日，為了表達慶祝，在微博上粉絲們給坤坤刷了 300W 的轉發量，微博的轉發資料正好是用分頁器分割的，我們就分析一下微博的轉發資訊頁面，看看這類資料怎麼用 Web Scraper 抓取。

這條微博的直達連結是：

https://weibo.com/1776448504/I0gyT8aeQ?type=repost

看了他那麼多的視訊，為了表達感激，我們可以點進去出為坤坤加一份閱讀量。

首先我們看看第 1 頁轉發的連結，長這個樣子：

https://weibo.com/1776448504/I0gyT8aeQ?type=repost

第 2 頁長這個樣子，注意到多了個 #_rnd1568563840036

引數：

https://weibo.com/1776448504/I0gyT8aeQ?type=repost#_rnd1568563840036

第 3 頁引數為 #_rnd1568563861839

https://weibo.com/1776448504/I0gyT8aeQ?type=repost#_rnd1568563861839

第 4 頁引數為 #_rnd1568563882276：

https://weibo.com/1776448504/I0gyT8aeQ?type=repost#_rnd1568563882276

多看幾個連結你就可以發現，這個轉發網頁的網址毫無規律可言，所以只能通過分頁器去翻頁載入資料。下面就開始我們的實戰教學環節。

1.建立 SiteMap

我們首先建立一個 SiteMap，這次取名為 cxk，起始連結為 https://weibo.com/1776448504/I0gyT8aeQ?type=repost。

2.建立容器的 selector

因為我們要點選分頁器，外面的容器的型別我們選為 Element Click，具體的引數解釋可以看下圖，我們之前在簡易資料分析 08詳細解釋過一次，這裡就不多言了。

container 的預覽是下圖的樣子：

分頁器選擇的過程可以參看下圖：

3.建立子選擇器

這幾個子選擇器都比較簡單，型別都是文字選擇器，我們選擇了評論使用者名稱，評論內容和評論時間三種類型的內容。

4.抓取資料

按照 Sitemap cxk -> Scrape 的操作路徑就可以抓取資料了。

5.一些問題

如果你看了我上面的教程立馬去爬資料，可能遇到的第一個問題就是，300w 的資料，難道我全部爬下來嗎？

聽上去也不太現實，畢竟 Web Scraper 針對的資料量都是相對比較小的，幾萬資料都算多的了，資料再大你就得考慮爬取時間是否太長，資料如何儲存，如何應對網址的反爬蟲系統（比如說冷不丁的跳出一個驗證碼，這個 Web Scraper 是無能為力的）。

考慮到這個問題，前面的自動控制抓取數量的教程你又看過的話，可能想著用 :nth-of-type(-n+N) 控制抓取 N 條資料。如果你嘗試了，就會發現這個方法根本沒用。

失效的原因其實涉及到一點點網頁的知識了，感興趣的話可以看看下面的解釋，不感興趣可以直接看最後的結論。

像我前面介紹的點選更多載入型網頁和下拉載入型網頁，他們新載入的資料，是在當前頁面追加的，你一直下拉，資料一直載入，同時網頁的滾動條會越來越短，這意味著所有的資料都在同一個頁面。

當我們用 :nth-of-type(-n+N) 控制載入數量時，其實相當於在這個網頁設立一個計數器，當資料一直累加到我們想要的數量時，就會停止抓取。

但是對於使用翻頁器的網頁，每次的翻頁相當於重新整理當前網頁，這樣每次都會設立一個計數器。

比如說你想抓取 1000 條資料，但是第 1 頁網頁只有 20 條資料，抓到最後一條了，還差 980 條；然後一翻頁，又設立一個新的計數器，抓完第 2 頁的最後一條資料，還差 980，一翻頁計數器就重置，又變成 1000 了......所以這個控制數量的方法就失效了。

所以結論就是，如果翻頁器型別的網頁想提前結束抓取，只有斷網的這種方法。當然，如果你有更好的方案，可以在評論裡回覆我，我們可以互相討論一下。

6.總結

分頁器是一種很常見的網頁分頁方法，我們可以通過 Web Scraper 中的 Element click 處理這種型別的網頁，並通過斷網的方法結束抓取。

7.推薦閱讀

簡易資料分析 05 | Web Scraper 翻頁——控制連結批量抓取資料

簡易資料分析 08 | Web Scraper 翻頁——點選「更多按鈕」翻頁

簡易資料分析 10 | Web Scraper 翻頁——抓取「滾動載入」型別網頁

簡易資料分析 09 | Web Scraper 自動控制抓取數量 & Web Scraper 父子選擇器

相關推薦