移動端資料爬取
前言
- 隨著移動市場的火熱,各大平臺都陸陸續續的推出了自己的移動端APP來拉攏吸引和便捷其廣大的使用者。那麼在移動端的平臺當時勢必會出現大量有價值的資訊和資料,那這些資料我們是否可以去享用一下呢?那麼接下來就進入我們的移動端APP資料的爬蟲中來吧。
今日概要
- fiddler簡介
- 手機APP抓包設定
- fiddler設定
- 安裝證書下載
- 安全證書安裝
- 區域網設定
- fiddler手機抓包測試
今日詳情
1 什麼是Fiddler?
Fiddler是位於客戶端和伺服器端的HTTP代理,也是目前最常用的http抓包工具之一 。 它能夠記錄客戶端和伺服器之間的所有 HTTP請求,可以針對特定的HTTP請求,分析請求資料、設定斷點、除錯web應用、修改請求的資料,甚至可以修改伺服器返回的資料,功能非常強大,是web除錯的利器。
既然是代理,也就是說:客戶端的所有請求都要先經過Fiddler,然後轉發到相應的伺服器,反之,伺服器端的所有響應,也都會先經過Fiddler然後傳送到客戶端,基於這個原因,Fiddler支援所有可以設定http代理為127.0.0.1:8888的瀏覽器和應用程式。使用了Fiddler之後,web客戶端和伺服器的請求如下所示:
利用可以設定代理的這個特點,我們就可以對手機APP進行抓包了。怎麼設定?不急不急,讓我先把Fiddler安裝上吧!
Fiddler下載地址:
傻瓜式安裝,一鍵到底。Fiddler軟體介面如圖所示:
2 手機APP抓包設定
a. Fiddler設定
開啟Fiddler軟體,開啟工具的設定。(Fiddler軟體選單欄:Tools->Options)
在HTTPS中設定如下:
在Connections中設定如下,這裡使用預設8888埠,當然也可以自己更改,但是注意不要與已經使用的埠衝突:
Allow remote computers to connect:允許別的機器把請求傳送到fiddler上來
b. 安全證書下載
在電腦瀏覽器中輸入地址:http://localhost:8888/,點選FiddlerRoot certificate,下載安全證書:
c. 安全證書安裝
證書是需要在手機上進行安裝的,這樣在電腦Fiddler軟體抓包的時候,手機使用電腦的網絡卡上網才不會報錯。
Android手機安裝:把證書放入手機的內建或外接儲存卡上,然後通過手機的"系統安全-》從儲存裝置安裝"選單安裝證書。
然後找到拷貝的FiddlerRoot.cer
進行安裝即可。安裝好之後,可以在信任的憑證中找到我們已經安裝好的安全證書。
蘋果手機安裝:
- 保證手機網路和fiddler所在機器網路是同一個網段下的
- 在safari中訪問http://fiddle機器ip:fiddler埠,進行證書下載。然後進行安裝證書操作。
- 在手機中的設定-》通用-》關於本機-》證書信任設定-》開啟fiddler證書信任
d. 區域網設定
想要使用Fiddler進行手機抓包,首先要確保手機和電腦的網路在一個內網中,可以使用讓電腦和手機都連線同一個路由器。當然,也可以讓電腦開放WIFI熱點,手機連入。這裡,我使用的方法是,讓手機和電腦同時連入一個路由器中。最後,讓手機使用電腦的代理IP進行上網。
在手機上,點選連線的WIFI進行網路修改,新增代理。進行手動設定,ip和埠號都是fiddler機器的ip和fiddler上設定的埠號。
e. Fiddler手機抓包測試
上述步驟都設定完成之後,用手機瀏覽器開啟百度首頁,我們就可以順利抓包了