之前因為工作需要,所以偶爾瞭解其他App的一些資訊.

雖然有些資訊,肉眼也看得到,但是自己照著打,實在有點累...

所以同事讓我幫忙嘗試抓包.

利用Charles開啟以後. 發現有些json的URL是可以直接開啟. 這種是最舒服的. 並且,手動調整offlet和limit就可以爬完了.

而有些是打不開的. 並且顯示

{"message":"Argument 'accessKey' must not be empty!","status":500}

之前我還以為是需要POST一個accessKey過去.  所以嘗試了requests.post(url,data),結果禁止訪問了.

見上圖. 後來發現, 這個method是get.   大神指點我需要構建一個headers來偽造App的請求. 

因此,沒學過JS的我,觀察了幾個GET,發現header不會變..... 於是..自己複製了一個上去.

就成功了.

這樣子,修改一下limit,offset,就可以舒舒服服的把全部的資料都弄出來了.  

這件事情的啟示在於:

1、雖然都是肉眼能看得到的資料. 但是抓包返回Json,能夠更快,更多,更強..(有些不該在json裡面的資料,也有...)

2、對於反抓包來說,主要還是要限制構建header.   好幾個請求都是一個header...實在是....