如何進行手機APP的資料爬取?
轉載地址:https://segmentfault.com/a/1190000013439547
平時我們的爬蟲多是針對網頁的,但是隨著手機端APP應用數量的增多,相應的爬取需求也就越來越多,因此手機端APP的資料爬取
對於一名爬蟲工程師來說是一項必備的技能。我們知道,網頁爬取的時候我經常使用F12開發者工具
或者fiddler
之類的工具來幫助我們分析瀏覽器行為。那對於手機的APP該如何使用呢?同樣的,我們也可以使用fiddler
來分析。好了,本篇博主將會給大家介紹如何在電腦端使用fiddler
進行手機APP的抓包。
首先了解一下fiddler(百度百科):
Fiddler是一個http協議除錯代理工具,它能夠記錄並檢查所有你的電腦和網際網路之間的http通訊,設定斷點,檢視所有的“進出”Fiddler的資料(指cookie,html,js,css等檔案,這些都可以讓你胡亂修改的意思)。 Fiddler 要比其他的網路偵錯程式要更加簡單,因為它不僅僅暴露http通訊還提供了一個使用者友好的格式。
完成此項工作的整個流程可分為如下幾個步驟。
1. 下載fiddler抓包工具
fiddler
的官方下載連結:https://www.telerik.com/downl...
安裝步驟沒什麼特別,常規下一步完成即可。
2. 設定fiddler
這裡有兩點需要說明一下。
- 設定允許抓取
HTTPS
資訊包
操作很簡單,開啟下載好的fiddler
,找到 Tools -> Options
,然後再HTTPS
的工具欄下勾選Decrpt HTTPS traffic
,在新彈出的選項欄下勾選Ignore server certificate errors
- 設定允許外部裝置傳送
HTTP/HTTPS
到fiddler
相同的,在Connections
選項欄下勾選Allow remote computers to connect
,並記住上面的埠號8888
,後面會使用到。
好了,需要的fiddler設定就配置完成了。
3. 設定手機端
設定手機端之前,我們需要記住一點:電腦和手機需要在同一個網路下進行操作。
可以使用wifi
或者手機熱點
等來完成。
假如你已經讓電腦和手機處於同一個網路下了,這時候我們需要知道此網路的ip地址
,可以在命令列輸入ipconfig
簡單的獲得,如圖。
好了,下面我們開始手機端的設定。
手機APP的抓取操作對於Android
和Apple
系統都可用,博主使用的蘋果系統,在此以蘋果系統為例。
進入到手機wifi
的設定介面,選擇當前連線網路的更多資訊,在蘋果中是一個歎號
。然後在最下面你會看到HTTP代理
的選項,點選進入。
進入後,填寫上面記住的ip地址
和埠號
,確定儲存。
4. 下載fiddler安全證書
在手機上開啟瀏覽器輸入一個上面ip地址和埠號
組成的url:http://192.168.43.38:8888,然後點選FiddlerRoot certificate
下載fiddler證書
。
以上就簡單完成了所有的操作,最後我們測試一下是否好用。
5. 手機端測試
就以知乎APP
為例,在手機上開啟 知乎APP
。下面是電腦上fiddler
的抓包結果。
結果沒有問題,抓到資訊包。然後就可以使用我們分析網頁的方法來進行後續的操作了。