1. 程式人生 > >如何進行手機APP的資料爬取?

如何進行手機APP的資料爬取?

轉載地址:https://segmentfault.com/a/1190000013439547

平時我們的爬蟲多是針對網頁的,但是隨著手機端APP應用數量的增多,相應的爬取需求也就越來越多,因此手機端APP的資料爬取對於一名爬蟲工程師來說是一項必備的技能。我們知道,網頁爬取的時候我經常使用F12開發者工具或者fiddler之類的工具來幫助我們分析瀏覽器行為。那對於手機的APP該如何使用呢?同樣的,我們也可以使用fiddler來分析。好了,本篇博主將會給大家介紹如何在電腦端使用fiddler進行手機APP的抓包。

首先了解一下fiddler(百度百科):

Fiddler是一個http協議除錯代理工具,它能夠記錄並檢查所有你的電腦和網際網路之間的http通訊,設定斷點,檢視所有的“進出”Fiddler的資料(指cookie,html,js,css等檔案,這些都可以讓你胡亂修改的意思)。 Fiddler 要比其他的網路偵錯程式要更加簡單,因為它不僅僅暴露http通訊還提供了一個使用者友好的格式。

完成此項工作的整個流程可分為如下幾個步驟。

1. 下載fiddler抓包工具

fiddler的官方下載連結:https://www.telerik.com/downl... 
安裝步驟沒什麼特別,常規下一步完成即可。 

2. 設定fiddler

這裡有兩點需要說明一下。

  • 設定允許抓取HTTPS資訊包

操作很簡單,開啟下載好的fiddler,找到 Tools -> Options,然後再HTTPS的工具欄下勾選Decrpt HTTPS traffic,在新彈出的選項欄下勾選Ignore server certificate errors

1424475199-5a964d33ced66_articlex (716Ã468)

  • 設定允許外部裝置傳送HTTP/HTTPSfiddler

相同的,在Connections選項欄下勾選Allow remote computers to connect,並記住上面的埠號8888,後面會使用到。

4112041635-5a964d422544a_articlex (438Ã290)

好了,需要的fiddler設定就配置完成了。

3. 設定手機端

設定手機端之前,我們需要記住一點:電腦和手機需要在同一個網路下進行操作
可以使用wifi或者手機熱點等來完成。

假如你已經讓電腦和手機處於同一個網路下了,這時候我們需要知道此網路的ip地址,可以在命令列輸入ipconfig簡單的獲得,如圖。

37120147-5a964d64ac943_articlex (722Ã536)

好了,下面我們開始手機端的設定。

手機APP的抓取操作對於AndroidApple系統都可用,博主使用的蘋果系統,在此以蘋果系統為例。

進入到手機wifi的設定介面,選擇當前連線網路的更多資訊,在蘋果中是一個歎號。然後在最下面你會看到HTTP代理的選項,點選進入。

3618386385-5a964d8043b17_articlex (425Ã584)

進入後,填寫上面記住的ip地址埠號,確定儲存。

3649826808-5a964d9994b26_articlex (426Ã359)

4. 下載fiddler安全證書

在手機上開啟瀏覽器輸入一個上面ip地址和埠號組成的url:http://192.168.43.38:8888,然後點選FiddlerRoot certificate下載fiddler證書

374853414-5a964daec3819_articlex (429Ã281)

以上就簡單完成了所有的操作,最後我們測試一下是否好用。

5. 手機端測試

就以知乎APP為例,在手機上開啟 知乎APP。下面是電腦上fiddler的抓包結果。

2628700083-5a964dbf11cf2_articlex (679Ã573)

結果沒有問題,抓到資訊包。然後就可以使用我們分析網頁的方法來進行後續的操作了。