1. 程式人生 > >在app上籤到,開啟,做任務的爬蟲

在app上籤到,開啟,做任務的爬蟲

研究這個,主要是很多app上提供的類似會員積分的東西就可以抵換實物,雖然不多,但是我有云啊,幾個爬蟲機器人刷刷就每天掃一遍,反正資源不用白不用。雖然大部分的app應用都有pc版,可以直接才瀏覽器中獲取對應的api,但畢竟很多活動是app裡面才有的。其實,app版和pc版也沒有本質的區別,除非app是用的類似websocket的介面,否則從底層上來說,所有的動作對應的都是HTTP的動作,app版和pc版就只有http url的地址的區別罷了(當然,除非有特殊的認證,否則都是可以用密碼或者cookie解決的)

這裡不會對爬蟲什麼的進行深入展開,只是提供一個思路或步驟。具體的做法很簡單:

● 電腦上安裝抓包工具
● 將手機的網路切換成電腦上的熱點,或者在電腦上安裝手機模擬器
● 對電腦上提供熱點的網絡卡進行抓包獲取關鍵的url或api資訊
● 爬蟲自動進行簽到,打卡,做任務,領取虛擬獎勵

電腦上安裝抓包工具

如何爬取app的內容,需要用到抓包工具,在windows下用的是fiddle,在mac下用的是charles(付費,可破解)。本人用的是charles
與抓取瀏覽器上的內容不同,我們沒法使用類似chrome的開發者模式一樣,看到所有的network活動,因為手機app是安裝在手機上的,所以,要麼我們在手機上安裝抓包工具,要麼讓手機通過特定的網路進行連線,然後我們在網路上進行抓包。最流行的方案當然是後者,畢竟在手機上抓包,並對資料進行提取,破解,分析是很不方便的。具體的安裝過程就不說了,詢問度娘吧,就是fiddle或charles

讓手機連線電腦熱點進行網路活動

簡而言之,就是讓手機連線電腦共享的wifi熱點。這樣,手機和電腦就是用的同樣的網路,基於這樣的前提,我們才能在電腦上進行抓包工作。但本人的電腦是mac,沒有網口,只有一個無線網絡卡,如果用我的無線網絡卡做熱點的話,就無法連線因特網了。有條件的同學,用自己網線上網,在自己的無線網路上提供一個熱點,讓手機使用該熱點就是了

電腦上安裝模擬器

其實模擬器有很多,甚至你都可以直接使用android studio這樣重量級的工具。這裡介紹的是一個比較輕量的,而且平時你還有可能用到工具。網易的mumu模擬器。模擬器中自帶了應用商店,開啟模擬器後在應用商店裡面下載你想要分析的app,或者使用它的apk安裝功能,安裝特定的app。但mumu瀏覽器有個問題,就是無法對wifi進行配置,因此需要通過自己開發一個app,來進入android的wifi配置選單。

下載地址,下載apk後,用mumu本地安裝即可。
進入wifi配置後,需要配置wifi的proxy:
● ip:10.0.3.2
● port:8888

抓包並提取關鍵的url或api資訊

把抓包工具開啟,訪問京東啊,蘇寧易購啊什麼的,逐個探測那些簽到,開啟,做任務的url,只要是單次滑鼠點選能夠完成的,都記錄下來,然後用selenium等工具,進行模擬操作,測試可行之後,就放到雲上每天跑吧,做的詳細的,每個平臺一年掃個60~70塊錢不是問題,這樣,你的雲就算賺回來的。這裡簡單提一下,大部分的網站都有驗證碼,但是移動端的url是沒有的,而且大部分用cookie就能直接用selenium訪問了,步驟是:

  • 瀏覽器上登陸pc版,通過開發者模式找到cookie,記錄下來
  • 使用selenium開啟移動端的url,將cookie置入