1. 程式人生 > 實用技巧 >移動端資料爬取 轉載:https://www.cnblogs.com/bobo-zhang/p/10068994.html

移動端資料爬取 轉載:https://www.cnblogs.com/bobo-zhang/p/10068994.html

1 什麼是Fiddler?
Fiddler是位於客戶端和伺服器端的HTTP代理,也是目前最常用的http抓包工具之一 。 它能夠記錄客戶端和伺服器之間的所有 HTTP請求,可以針對特定的HTTP請求,分析請求資料、設定斷點、除錯web應用、修改請求的資料,甚至可以修改伺服器返回的資料,功能非常強大,是web除錯的利器。

既然是代理,也就是說:客戶端的所有請求都要先經過Fiddler,然後轉發到相應的伺服器,反之,伺服器端的所有響應,也都會先經過Fiddler然後傳送到客戶端,基於這個原因,Fiddler支援所有可以設定http代理為127.0.0.1:8888的瀏覽器和應用程式。使用了Fiddler之後,web客戶端和伺服器的請求如下所示:


利用可以設定代理的這個特點,我們就可以對手機APP進行抓包了。怎麼設定?不急不急,讓我先把Fiddler安裝上吧!

Fiddler下載地址:https://www.telerik.com/fiddler

傻瓜式安裝,一鍵到底。Fiddler軟體介面如圖所示:

2 手機APP抓包設定

a. Fiddler設定

開啟Fiddler軟體,開啟工具的設定。(Fiddler軟體選單欄:Tools->Options)

在HTTPS中設定如下:

在Connections中設定如下,這裡使用預設8888埠,當然也可以自己更改,但是注意不要與已經使用的埠衝突:

Allow remote computers to connect:允許別的機器把請求傳送到fiddler上來

b. 安全證書下載
在電腦瀏覽器中輸入地址:http://localhost:8888/,點選FiddlerRoot certificate,下載安全證書:


c. 安全證書安裝
證書是需要在手機上進行安裝的,這樣在電腦Fiddler軟體抓包的時候,手機使用電腦的網絡卡上網才不會報錯。

Android手機安裝:把證書放入手機的內建或外接儲存卡上,然後通過手機的"系統安全-》從儲存裝置安裝"選單安裝證書。

然後找到拷貝的FiddlerRoot.cer進行安裝即可。安裝好之後,可以在信任的憑證中找到我們已經安裝好的安全證書。

蘋果手機安裝:

- 保證手機網路和fiddler所在機器網路是同一個網段下的

- 在safari中訪問http://fiddle機器ip:fiddler埠,進行證書下載。然後進行安裝證書操作。

- 在手機中的設定-》通用-》關於本機-》證書信任設定-》開啟fiddler證書信任

d. 區域網設定
想要使用Fiddler進行手機抓包,首先要確保手機和電腦的網路在一個內網中,可以使用讓電腦和手機都連線同一個路由器。當然,也可以讓電腦開放WIFI熱點,手機連入。這裡,我使用的方法是,讓手機和電腦同時連入一個路由器中。最後,讓手機使用電腦的代理IP進行上網。
在手機上,點選連線的WIFI進行網路修改,新增代理。進行手動設定,ip和埠號都是fiddler機器的ip和fiddler上設定的埠號。

e. Fiddler手機抓包測試

上述步驟都設定完成之後,用手機瀏覽器開啟百度首頁,我們就可以順利抓包了