Jsoup官方文件中說明爬取網頁的兩種方法：

get

Document doc = Jsoup.connect("http://example.com/").get();

post

Document doc = Jsoup.connect("http://example.com")
  .data("query", "Java")
  .userAgent("Mozilla")
  .cookie("auth", "token")
  .timeout(3000)
  .post();

分別用這兩種方法對好幾個網址進行爬取資料，有的能直接獲取文件，有的則出現500錯誤。但是出錯的網址能夠用瀏覽器正常訪問

搜尋了答案，有網友回答是需要設定userAgent進行偽裝成瀏覽器，實踐發現這個方案可行，網友程式碼如下：

// String url = " http://www.dianping.com/changsha/food";
    Document doc = null;
    Connection conn = Jsoup.connect(url);
    conn.header(
                "User-Agent",
                "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2"
 
);
    try {
        doc = conn.timeout(10000).get();
        System.out.println(doc.html());
    } catch (IOException e) {
        e.printStackTrace();
    }

按照官方文件中使用post方法中修改userAgent仍然不能解析；而在get方法中設定userAgent就可以解析了。

Document doc = null;
try {
    doc = Jsoup.connect(url)
    //.userAgent("Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10.4; en-US; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2")
 

    .userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.64 Safari/537.31")
    .get();
} catch (IOException e) {
    // TODO Auto-generated catch block
    e.printStackTrace();
}
return doc;