1. 程式人生 > >360 手機助手爬蟲

360 手機助手爬蟲

1.URL分析

開啟360 市場的URL,F12 進入到network 模式,分析URL連線:

 

http://zhushou.360.cn/search/index/?kw=qq

 

當我點選第二頁的時候,查詢字串出現Query String 方法,

多嘗試幾次,就可以得到URL的連線查詢字串。

 

2.demo 編寫

2.1 請求部分:

  public     String   request(String url) throws IOException {
        CloseableHttpClient httpClient = HttpClients.createDefault();

//        String url = "http://zhushou.360.cn/search/index/?kw=test&page=2";
        System.out.println("URL="+url);
        //建立http request(GET)
        HttpGet request = new HttpGet(url);

        //執行http請求
        CloseableHttpResponse response = httpClient.execute(request);
        //列印response
        String responseStr = EntityUtils.toString(response.getEntity());
//        System.out.println("result="+responseStr);
        return responseStr;
    }

3.執行結果:

 

3.參考資料: