1. 程式人生 > >28.分析采集美團網站信息-3

28.分析采集美團網站信息-3

搜索結果 時間 網站 信息 格式 評價 美團 分類 spa

今天又捋一下思路,在兼職,也沒時間去坐下來仔細思考分析問題:

1.首先獲取分類,比如先獲取美食,再劃分其分類,分類裏有火鍋、蛋糕、小吃快餐等等後面都顯示了共有多少個搜索結果。
技術分享圖片
2.獲取完分類id也知道了其總的結果個數,然後再配置請求data參數裏的offset,其offset每次加載15條數據,可以根據獲取的總個數n去算一共m頁,再做循環請求m次。

3.沒請求一次數據就會獲取15條數據,是json格式的數據。
技術分享圖片

技術分享圖片

4.獲取到請求的數據,再提取數據中的兩個重要參數,poiid和ctpoi。
5.請求拼接url,進入詳情頁面。
如下所示:
https://meishi.meituan.com/i/poi/98254777?ct_poi=311181748887990495663158755820426747567_a98254777_c0_e9203518743247516983

技術分享圖片

這裏想要繼續深度采集的話,比如,查看全部評價,則就需要再深一個層次。

其實自己也想嘗試一下手機端去采集試一下的,可以試著看看情況。

值得註意的是這邊也是被檢測到異常了:
技術分享圖片

28.分析采集美團網站信息-3