360 手機助手爬蟲
阿新 • • 發佈:2018-11-30
1.URL分析
開啟360 市場的URL,F12 進入到network 模式,分析URL連線:
http://zhushou.360.cn/search/index/?kw=qq
當我點選第二頁的時候,查詢字串出現Query String 方法,
多嘗試幾次,就可以得到URL的連線查詢字串。
2.demo 編寫
2.1 請求部分:
public String request(String url) throws IOException { CloseableHttpClient httpClient = HttpClients.createDefault(); // String url = "http://zhushou.360.cn/search/index/?kw=test&page=2"; System.out.println("URL="+url); //建立http request(GET) HttpGet request = new HttpGet(url); //執行http請求 CloseableHttpResponse response = httpClient.execute(request); //列印response String responseStr = EntityUtils.toString(response.getEntity()); // System.out.println("result="+responseStr); return responseStr; }
3.執行結果:
3.參考資料: