2. 程式人生 > >Java 爬蟲工具Jsoup解析

Java 爬蟲工具Jsoup解析

阿新 • • 發佈：2019-02-17

Jsoup是一款 Java 的 HTML 解析器，可直接解析某個 URL 地址、HTML 文字內容。它提供了一套非常省力的 API，可通過 DOM，CSS 以及類似於 jQuery 的操作方法來取出和操作資料。
jsoup 的主要功能如下：
1. 從一個 URL，檔案或字串中解析 HTML；
2. 使用 DOM 或 CSS 選擇器來查詢、取出資料；
3. 可操作 HTML 元素、屬性、文字；
jsoup 是基於 MIT 協議釋出的，可放心使用於商業專案。
jsoup 可以從包括字串、URL 地址以及本地檔案來載入 HTML 文件，並生成 Document 物件例項。

簡單而言，Jsoup就是先取html頁面程式碼然後解析這些頁面通過Jsoup攜帶的滿足我們絕大多數需求的各種選擇器從這個頁面中獲取我們所需要的重要資料的一款功能強大的html解析器，但也只是相對而言，這裡的頁面這是死的靜態頁面，如果你想獲取動態生成的頁面資料那麼你得用到其他的java 爬蟲技術，我會不定時更新這些技術一起探討。下面我們來具體談談如何運用Jsoup

一、如何取頁面

Jsoup提供了用來解析html頁面的方法 parse(),我們通過解析它可以獲取整個頁面的dom物件，通過這個物件來獲取你所需要的頁面所須有的引數。獲取頁面的方法有很多，這裡就簡單的列舉幾個：

① 通過Jsoup攜帶的connect()方法

String htmlPage = Jsoup.connect("https://www.baidu.com").get().toString();

這個方法說需要的引數就是一個String型別的url連結，但是你的注意把這些連結的protrol加上，以免問題，
其實這個方法解決了我們很多問題，我們完全可以把Jsoup解析html抽取成一段通用工具類,然後通過改變拼接的url引數獲取到很多我們想要的東西，舉個例子:京東和淘寶的商品連結都是固定的，通過改變其三方商品ID來獲取商品詳情引數。

String url = "https://item.jd.com/11476104681.html";

完全可以替換成

String url = "https://item.jd.com/"+skuId+".html";

通過改變他的三方商品ID你就可以獲取這個頁面一些基本資料，像商品的圖片和標題什麼的都可以輕鬆獲取，而價格因為做了一些相關方面的處理得動態的獲取，這裡先不做說明，後面慢慢會講解。

②通過httpclient直接獲取這個頁面的靜態頁面

先貼一部分httpclient獲取頁面工具



import java.io.IOException;
import java.io.UnsupportedEncodingException;
import
 
 java.util.ArrayList;
import java.util.List;
import java.util.Map;
import java.util.Set;

import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.NameValuePair;
import org.apache.http.ParseException;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.client.methods.HttpUriRequest;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.protocol.HTTP;
import org.apache.http.util.EntityUtils;
/**
 * HTTP請求工具類.
 * @author LuoLong
 * @since 20150513
 *
 */
public class HttpClientUtils {
    /**
     * post方式請求.
     * @param url 請求地址.
     * @param params 請求引數
     * @return String
     */
    public static String post(String url, Map<String, String> params) {
        DefaultHttpClient httpclient = new DefaultHttpClient();
        String body = null;

        HttpPost post = postForm(url, params);

        body = invoke(httpclient, post);

        httpclient.getConnectionManager().shutdown();

        return body;
    }

    /**
     * get方式請求.
     * @param url 請求地址.
     * @return String
     */
    public static String get(String url) {
        DefaultHttpClient httpclient = new DefaultHttpClient();
        String body = null;

        HttpGet get = new HttpGet(url);
        body = invoke(httpclient, get);

        httpclient.getConnectionManager().shutdown();

        return body;
    }
    /**
     * 請求方法.
     * @param httpclient DefaultHttpClient.
     * @param httpost 請求方式.
     * @return String
     */
    private static String invoke(DefaultHttpClient httpclient,
            HttpUriRequest httpost) {

        HttpResponse response = sendRequest(httpclient, httpost);
        String body = paseResponse(response);

        return body;
    }

    /**
     * 
     * @param response
     * @return
     */
    @SuppressWarnings({ "deprecation", "unused" })
    private static String paseResponse(HttpResponse response) {
        HttpEntity entity = response.getEntity();

        String charset = EntityUtils.getContentCharSet(entity);

        String body = null;
        try {
            body = EntityUtils.toString(entity);
        } catch (ParseException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }

        return body;
    }

    private static HttpResponse sendRequest(DefaultHttpClient httpclient,
            HttpUriRequest httpost) {
        HttpResponse response = null;

        try {
            response = httpclient.execute(httpost);
        } catch (ClientProtocolException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return response;
    }

    @SuppressWarnings("deprecation")
    private static HttpPost postForm(String url, Map<String, String> params) {

        HttpPost httpost = new HttpPost(url);
        List<NameValuePair> nvps = new ArrayList<NameValuePair>();

        Set<String> keySet = params.keySet();
        for (String key : keySet) {
            nvps.add(new BasicNameValuePair(key, params.get(key)));
        }
        try {
            httpost.setEntity(new UrlEncodedFormEntity(nvps, HTTP.UTF_8));
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }

        return httpost;
    }
}

通過get()方法就可以獲取html頁面的String型別資料

String content = HttpClientUtils.get(url);
或者你可以直接把頁面下載到本地，然後解析此html文件獲取
File input = new File(FilePath);
Document doc = Jsoup.parse(input, "UTF-8", url);

二、解析頁面獲取需要的資料

當你獲取到頁面的dom物件後，那麼下面的操作就非常簡單了，你只需要通過操作這個dom物件來獲取頁面所有的靜態資源，動態載入的資源不在此列，後面在做講解。

先貼一段百度網頁的原始碼：

  </form>
       <div id="m"></div>
      </div>
     </div>
     <div id="u">
      <a class="toindex" href="/">百度首頁</a>
      <a href="javascript:;" name="tj_settingicon" class="pf">設定<i class="c-icon c-icon-triangle-down"></i></a>
      <a href="https://passport.baidu.com/v2/?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2F" name="tj_login" class="lb" onclick="return false;">登入</a>
     </div>
     <div id="u1">
      <a href="http://news.baidu.com" name="tj_trnews" class="mnav">新聞</a>
      <a href="http://www.hao123.com" name="tj_trhao123" class="mnav">hao123</a>
      <a href="http://map.baidu.com" name="tj_trmap" class="mnav">地圖</a>
      <a href="http://v.baidu.com" name="tj_trvideo" class="mnav">視訊</a>
      <a href="http://tieba.baidu.com" name="tj_trtieba" class="mnav">貼吧</a>
      <a href="http://xueshu.baidu.com" name="tj_trxueshu" class="mnav">學術</a>
      <a href="https://passport.baidu.com/v2/?login&amp;tpl=mn&amp;u=http%3A%2F%2Fwww.baidu.com%2F" name="tj_login" class="lb" onclick="return false;">登入</a>
      <a href="http://www.baidu.com/gaoji/preferences.html" name="tj_settingicon" class="pf">設定</a>
      <a href="http://www.baidu.com/more/" name="tj_briicon" class="bri" style="display: block;">更多產品</a>
     </div>
    </div>
   </div> 
   <div class="s_tab" id="s_tab"> 
    <b>網頁</b>
    <a href="http://news.baidu.com/ns?cl=2&amp;rn=20&amp;tn=news&amp;word=" wdfield="word" onmousedown="return c({'fm':'tab','tab':'news'})">新聞</a>
    <a href="http://tieba.baidu.com/f?kw=&amp;fr=wwwt" wdfield="kw" onmousedown="return c({'fm':'tab','tab':'tieba'})">貼吧</a>
    <a href="http://zhidao.baidu.com/q?ct=17&amp;pn=0&amp;tn=ikaslist&amp;rn=10&amp;word=&amp;fr=wwwt" wdfield="word" onmousedown="return c({'fm':'tab','tab':'zhidao'})">知道</a>
    <a href="http://music.baidu.com/search?fr=ps&amp;ie=utf-8&amp;key=" wdfield="key" onmousedown="return c({'fm':'tab','tab':'music'})">音樂</a>
    <a href="http://image.baidu.com/search/index?tn=baiduimage&amp;ps=1&amp;ct=201326592&amp;lm=-1&amp;cl=2&amp;nc=1&amp;ie=utf-8&amp;word=" wdfield="word" onmousedown="return c({'fm':'tab','tab':'pic'})">圖片</a>
    <a href="http://v.baidu.com/v?ct=301989888&amp;rn=20&amp;pn=0&amp;db=0&amp;s=25&amp;ie=utf-8&amp;word=" wdfield="word" onmousedown="return c({'fm':'tab','tab':'video'})">視訊</a>
    <a href="http://map.baidu.com/m?word=&amp;fr=ps01000" wdfield="word" onmousedown="return c({'fm':'tab','tab':'map'})">地圖</a>
    <a href="http://wenku.baidu.com/search?word=&amp;lm=0&amp;od=0&amp;ie=utf-8" wdfield="word" onmousedown="return c({'fm':'tab','tab':'wenku'})">文庫</a>
    <a href="//www.baidu.com/more/" onmousedown="return c({'fm':'tab','tab':'more'})">更多&raquo;</a> 
   </div> 
   <div class="qrcodeCon"> 
    <div id="qrcode"> 
     <div class="qrcode-item qrcode-item-1"> 
      <div class="qrcode-img"></div> 
      <div class="qrcode-text"> 
       <p><b>手機百度</b></p> 
      </div> 
     </div> 
    </div> 
   </div> 
   <div id="ftCon"> 
    <div class="ftCon-Wrapper">
     <div id="ftConw">
      <p id="lh"><a id="setf" href="//www.baidu.com/cache/sethelp/help.html" onmousedown="return ns_c({'fm':'behs','tab':'favorites','pos':0})" target="_blank">把百度設為主頁</a><a onmousedown="return ns_c({'fm':'behs','tab':'tj_about'})" href="http://home.baidu.com">關於百度</a><a onmousedown="return ns_c({'fm':'behs','tab':'tj_about_en'})" href="http://ir.baidu.com">About&nbsp;&nbsp;Baidu</a><a onmousedown="return ns_c({'fm':'behs','tab':'tj_tuiguang'})" href="http://e.baidu.com/?refer=888">百度推廣</a></p>
      <p id="cp">&copy;2017&nbsp;Baidu&nbsp;<a href="http://www.baidu.com/duty/" onmousedown="return ns_c({'fm':'behs','tab':'tj_duty'})">使用百度前必讀</a>&nbsp;<a href="http://jianyi.baidu.com/" class="cp-feedback" onmousedown="return ns_c({'fm':'behs','tab':'tj_homefb'})">意見反饋</a>&nbsp;京ICP證030173號&nbsp;<i class="c-icon-icrlogo"></i>&nbsp;<a id="jgwab" target="_blank" href="http://www.beian.gov.cn/portal/registerSystemInfo?recordcode=11000002000001">京公網安備11000002000001號</a>&nbsp;<i class="c-icon-jgwablogo"></i></p>
     </div>
    </div>
   </div> 
   <div id="wrapper_wrapper"> 
   </div> 
  </div> 
  <div class="c-tips-container" id="c-tips-container"></div>

在貼上Jsoup自身攜帶的常用的幾個獲取dom物件具體元素的方法：

method                           description
getElementsByClass()             通過Class屬性來定位元素，獲取的是所有帶這個class屬性的集合
getElementsByTag();              通過標籤名字來定位元素，獲取的是所有帶有這個標籤名字的元素結合 
getElementById();                通過標籤的ID來定位元素，這個是精準定位，因為頁面的ID基本不會重複
getElementsByAttributeValue();   通過屬性和屬性名來定位元素，獲取的也是一個滿足條件的集合;
getElementsByAttributeValueMatching()        通過正則匹配屬性

比如說我現在要獲取百度首頁這個title,那麼我們得先確定這玩意在哪，通過檢視我們發現它是id=”u”的div標籤的一個子元素，那麼不管那麼多我們先通過這個Id取到這個物件然後在獲取這個Title,下面是具體操作

//獲取頁面物件
String startPage="https://www.baidu.com";

Document document = Jsoup.connect(startPage).userAgent("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36").get();

//定位元素父級
Element parentElement = document.getElementById("u");

//定位具體元素
Element titleElement = parentElement.getElementsByTag("a").get(0);

//獲取所需資料
String title = titleElement.text();

System.out.println(title);

又或者我需要獲取頁面《手機百度》這個資料：

String startPage="https://www.baidu.com";

Document document = Jsoup.connect(startPage).userAgent("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36").get();

Element elementById = document.getElementById("qrcode");

String text = elementById.getAllElements().get(0).getAllElements().get(1).getElementsByTag("b").text();

System.out.println(text);

這就是一個很簡單的爬蟲編寫工具，Jsoup功能很強大，對直接爬取沒有動態載入的靜態資源頁面再適合不過。

相關推薦

Java 爬蟲工具Jsoup解析

Jsoup是一款 Java 的 HTML 解析器，可直接解析某個 URL 地址、HTML 文字內容。它提供了一套非常省力的 API，可通過 DOM，CSS 以及類似於 jQuery 的操作方法來取出和操作資料。 jsoup 的主要功能如下： 1. 從一個 U

Java爬蟲利器HTML解析工具-Jsoup

　　Jsoup簡介 　　 　　Java爬蟲解析HTML文件的工具有：htmlparser, Jsoup。本文將會詳細介紹Jsoup

java爬蟲入門jsoup 框架

所需jar包 <dependency> <!-- jsoup HTML parser library @ http://jsoup.org/ --> <groupId>org.jsoup</groupId> <arti

Java原始碼分析——java.util工具包解析（五）——UUID、Base64、內建觀察者模式Observer介面、EventListener、RandomAccess

UUID     關於UUID，我們需要知道它最重要的一點，就是它會生成全地球唯一的一個id，它可以作為資料庫的主鍵存在，標識各個元組。 UUID保證對在同一時空中的所有機器都是唯一的，利用機器的當前日期和時間、時鐘序列、全域性唯一的IEEE機

Java原始碼分析——java.util工具包解析（四）——四大引用型別以及WeakHashMap類解析

    WeakHashMap是Map的一種很獨特的實現，從它的名字可以看出，它是存貯弱引用的對映的，先來複習一下Java中的四大引用型別： 強引用：我們使用的大部分引用實際上都是強引用，這是使用最普遍的引用。強引用的物件垃圾回收器絕不

Java原始碼分析——java.util工具包解析（三）——HashMap、TreeMap、LinkedHashMap、Hashtable類解析

    Map，中文名字對映，它儲存了鍵-值對的一對一的關係形式，並用雜湊值來作為存貯的索引依據，在查詢、插入以及刪除時的時間複雜度都為O(1)，是一種在程式中用的最多的幾種資料結構。Java在java.util工具包中實現了Map介面，來作為各大

Java原始碼分析——java.util工具包解析（二）——HashSet、TreeSet、LinkedHashSet類解析

    Set，即集合，與數學上的定義一樣，集合具有三個特點： 無序性：一個集合中，每個元素的地位都是相同的，元素之間是無序的。 互異性：一個集合中，任何兩個元素都認為是不相同的，即每個元素只能出現一次。 確定性：給定一個集

Java原始碼分析——java.util工具包解析（一）——ArrayList、LinkedList、Vector類解析

    Java中，List列表類與Set集合類的共同源頭是Collection介面，而Collection的父介面是Iterable介面，在Collection介面下又實現了三個常用的介面以及一個抽象方法，分別為Queue介面、List介面、Se

java爬蟲中jsoup的使用

jsoup可以用來解析HTML的內容，其功能非常強大,它可以向javascript那樣直接從網頁中提取有用的資訊 例如1：  從html字串中解析資料 //直接從字串中獲取 public static void getParByString() { String html

[Java爬蟲] 使用 Jsoup + HttpClient 爬取網頁圖片

一、前言 把一篇圖文並茂的優秀文章全部爬取下來，就少不了 Java 爬蟲裡邊的 圖片爬取 技術了。很多人都用來爬取美女圖片，但是筆者覺得這有傷大雅。下面筆者使用它來爬取 CSDN 【今日推薦】文章附帶的圖片 二、程式碼、依賴 筆者對本程式碼經過多次

java爬蟲（Jsoup）爬取某站點評論

在上一篇中，我們抓取到了新聞的標題，超連結和摘要，這次我們通過新聞的超連結，進入新聞的評論頁，然後爬取評論！ 先看下評論頁的標籤： 主要是尋找id為“art_content”的標籤下的 id為“text”下的“div”標籤。 程式碼： p

java爬蟲工具htmlunit hello word示例（附帶親測可用所有jar包）

htmlunit這裡就不介紹了。筆者剛接觸這個時候給這個jar包問題折磨了一會。 現把jar包都歸納起來。附帶下載連結：htmlunit基本jar包 可能有的還需要這兩個包： jetty-websocket.jar jsoup.jar   匯入以上所有jar包之後來

java爬蟲：jsoup的簡單案例

package jsoup;import java.io.IOException;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.

簡單地學習Java爬蟲->使用Jsoup

簡單地學習Java爬蟲->使用Jsoup 一、gradle環境搭建 implementation 'org.jsoup:jsoup:1.11.3' 二、Activity package com.example.testforjsoup; impor

java 爬蟲外掛 jsoup 在springboot 下的使用

引言：jsoup 在 java 基礎上實現爬取靜態網站資訊是非常方便的，只要明白原理就可以為所欲為了，廢話不多說，上程式碼！ 1.先在pom.xml 中引入依賴包  <dependency> <groupId&g

【Java】Jsoup解析一個body片斷優化爬蟲速度

解析一個body片斷 問題 假如你有一個HTML片斷 (比如. 一個 div 包含一對 p 標籤; 一個不完整的HTML文件) 想對它進行解析。這個HTML片斷可以是使用者提交的一條評論或在一個CMS頁面中編輯body部分。 辦法 使用方法

Java爬蟲（二）-- httpClient模擬Http請求+jsoup頁面解析

前言 在瞭解了爬蟲的大概原理和目前的技術現狀之後，我就開始了java爬蟲的蹣跚之旅。 首先我想到的是用框架，瞭解到的主流的Nutch、webmagic、webcollector等等，都看了一遍，最好懂的是webmagic，因為是國人開發的，有中文文件，看的很

使用java開源工具httpClient及jsoup抓取解析網頁資料

　　今天做專案的時候遇到這樣一個需求，需要在網頁上展示今日黃曆資訊，資料格式如下 　　公曆時間：2016年04月11日 星期一　　農曆時間：猴年三月初五　　天干地支：丙申年 壬辰月 癸亥日　　宜：求子 祈福 開光 祭祀 安床　　忌：玉堂（黃道）危日，忌出行　　主要包括公曆/農曆日期，以及忌宜資訊的等。但是手

Java爬蟲入門簡介（三） —— Jsoup解析HTML頁面

上一篇部落格我們已經介紹瞭如何使用HttpClient模擬客戶端請求頁面了。這一篇部落格我們將描述如何解析獲取到的頁面內容。上一節我們獲取了 http://www.datalearner.com/blog_list 頁面的HTML原始碼，但是這些原始碼是提供給瀏覽器解析用的，

java的jsoup介紹--java爬蟲與java解析html

         最近的工作需要從網上抓取些資訊，奈何不會python，暫時又沒時間去研究它，只好用java來搞了。事實證明，做爬蟲不一定要用python，java一樣能做到。jsoup是java的文件解析工具，很方便，很強大。它可以將html檔案、字串或URL轉化為Doc