2. 程式人生 > >java爬蟲入門jsoup 框架

java爬蟲入門jsoup 框架

阿新 • • 發佈：2018-11-08

所需jar包

<dependency>
  <!-- jsoup HTML parser library @ http://jsoup.org/ -->
  <groupId>org.jsoup</groupId>
  <artifactId>jsoup</artifactId>
  <version>1.10.2</version>
</dependency>

使用示例程式碼


import org.jsoup.Jsoup;
import org.jsoup.helper.Validate
 
;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

public class html {
    public static void main(String[] args) throws IOException {
        // 直接從字串中輸入 HTML 文件
        String html = "<html><head><title> 開源中國社群 </title></head>"
 

                + "<body><p> 這裡是 jsoup 專案的相關文章 </p></body></html>";
        Document doc = Jsoup.parse(html);

        // 從 URL 直接載入 HTML 文件
        Document doc1 = Jsoup.connect("http://www.oschina.net/").get();
        String title = doc.title();

        Document doc2 = Jsoup.connect
 
("http://www.oschina.net/")
                .data("query", "Java")   // 請求引數
                .userAgent("I ’ m jsoup") // 設定 User-Agent
                .cookie("auth", "token") // 設定 cookie
                .timeout(3000)           // 設定連線超時時間
                .post();                 // 使用 POST 方法訪問 URL

        // 從檔案中載入 HTML 文件
//        File input = new File("D:/test.html");
//        Document doc = Jsoup.parse(input,"UTF-8","http://www.oschina.net/");
//獲取HTML頁面的Fav圖示
        System.out.println("獲取HTML頁面的Fav圖示");
        String favImage = "Not Found";
        Element element = doc1.head().select("link[href~=.*\\.(ico|png)]").first();
        if (element == null) {
            element = doc1.head().select("meta[itemprop=image]").first();
            if (element != null) {
                favImage = element.attr("content");
            }
        } else {
            favImage = element.attr("href");
        }
        System.out.println(favImage);
        System.out.println("獲取HTML頁面的Fav圖示");
//獲取HTML頁面中的所有連結
        System.out.println("獲取HTML頁面中的所有連結");
        Elements links = doc1.select("a[href]");
        for (Element link : links) {
            System.out.println("link : " + link.attr("href"));
            System.out.println("text : " + link.text());
        }
        System.out.println("獲取HTML頁面中的所有連結");

//解析獲取圖片
        System.out.println("解析獲取圖片");
        Elements images = doc1.select("img[src~=(?i)\\.(png|jpe?g|gif)]");
        for (Element image : images) {
            System.out.println("src : " + image.attr("src"));
            System.out.println("height : " + image.attr("height"));
            System.out.println("width : " + image.attr("width"));
            System.out.println("alt : " + image.attr("alt"));
        }
        System.out.println("解析獲取圖片");
// 獲取URL的元資訊
        System.out.println("獲取URL的元資訊");
        String description = doc1.select("meta[name=description]").get(0).attr("content");
        System.out.println("Meta description : " + description);

        String keywords = doc1.select("meta[name=keywords]").first().attr("content");
        System.out.println("Meta keyword : " + keywords);
        System.out.println("獲取URL的元資訊");
//在HTML頁面中獲取表單屬性
        System.out.println("在HTML頁面中獲取表單屬性");
        Element formElement = doc1.getElementById("loginForm");

        Elements inputElements = formElement.getElementsByTag("input");
        for (Element inputElement : inputElements) {
            String key = inputElement.attr("name");
            String value = inputElement.attr("value");
            System.out.println("Param name: " + key + " \nParam value: " + value);
        }

        System.out.println("在HTML頁面中獲取表單屬性");


    }
}

相關推薦

java爬蟲入門jsoup 框架

所需jar包 <dependency> <!-- jsoup HTML parser library @ http://jsoup.org/ --> <groupId>org.jsoup</groupId> <arti

Java爬蟲入門簡介（三） —— Jsoup解析HTML頁面

上一篇部落格我們已經介紹瞭如何使用HttpClient模擬客戶端請求頁面了。這一篇部落格我們將描述如何解析獲取到的頁面內容。上一節我們獲取了 http://www.datalearner.com/blog_list 頁面的HTML原始碼，但是這些原始碼是提供給瀏覽器解析用的，

java爬蟲入門——從一個網頁抓取原始碼

import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.FileWriter; import java.io.IOException; import java.io.InputStreamRea

java爬蟲中jsoup的使用

jsoup可以用來解析HTML的內容，其功能非常強大,它可以向javascript那樣直接從網頁中提取有用的資訊 例如1：  從html字串中解析資料 //直接從字串中獲取 public static void getParByString() { String html

java爬蟲入門

學習爬蟲第一天： 目標1：在網路上爬取一個網頁，並儲存成html檔案 開發環境Eclipse+JDK1.8 爬蟲用到的jar包：Java本身提供了關於網路訪問的包，在java.net中，然後它不夠強大。於是Apache基金會發布了開源的http請求的包，即Ht

[Java爬蟲] 使用 Jsoup + HttpClient 爬取網頁圖片

一、前言 把一篇圖文並茂的優秀文章全部爬取下來，就少不了 Java 爬蟲裡邊的 圖片爬取 技術了。很多人都用來爬取美女圖片，但是筆者覺得這有傷大雅。下面筆者使用它來爬取 CSDN 【今日推薦】文章附帶的圖片 二、程式碼、依賴 筆者對本程式碼經過多次

java爬蟲（Jsoup）爬取某站點評論

在上一篇中，我們抓取到了新聞的標題，超連結和摘要，這次我們通過新聞的超連結，進入新聞的評論頁，然後爬取評論！ 先看下評論頁的標籤： 主要是尋找id為“art_content”的標籤下的 id為“text”下的“div”標籤。 程式碼： p

Java爬蟲入門簡介（四）——抓包工具的使用以及使用HttpClient模擬使用者登入的訪問

網路爬蟲需要解決的一個重要的問題就是要針對某些需要使用者名稱和密碼訪問的頁面可以模擬使用者自動登入。在這一篇部落格中我們將介紹如何使用Chrome瀏覽器自帶的抓包工具分析頁面並模擬使用者自動登入。我們會以CSDN的使用者登入為例，講述如何使用抓包工具獲取登入

Java爬蟲入門例項

想copy個爬蟲玩玩，結果提到用的jar包是apache的http客戶端開源專案---HttpClient 就下載了一個版本4.3 HttpClient httpclient = new Ht

Java爬蟲入門簡介（三）——HttpClient儲存使用Cookie登入

其他爬蟲部落格： Cookie是瀏覽器儲存儲存使用者資訊的一小段文字，它儲存了使用者的ID等資訊，這些資訊可以被伺服器端識別，並作為標識使用者的手段，以此來判定使用者是不是第一次訪問。網路上有這樣一段解釋，很清楚。 瀏覽器與WEB伺服器之間是使用H

詳細教程 ：crawler4j 爬取京東商品資訊 Java爬蟲入門 crawler4j教程

現今比較流行的爬蟲語言，屬Java、paython和c語言，筆者學習的是Java語言，所以介紹下使用Java如何爬取網頁資訊。我們先從一個最原始的Java爬蟲demo開始，再來看如何使用crawler4j這個框架進行爬蟲。Demo使用Java的Url物件，指向網址並建立連線，

Java爬蟲入門實戰：爬取京東圖書資訊

網路爬蟲框架寫網路爬蟲，一個要有一個邏輯順序。本文主要講解我自己經常使用的一個順序，並且本人經常

java爬蟲：jsoup的簡單案例

package jsoup;import java.io.IOException;import org.jsoup.Jsoup;import org.jsoup.nodes.Document;import org.jsoup.nodes.Element;import org.

Java 爬蟲入門(網易雲音樂和知乎例項)

最近公司趕專案，過上了996的生活，週日還要陪老婆，實在沒時間靜下來寫點東西，於是導致了swift編寫2048的第三篇遲遲沒有開工，在此說聲抱歉，儘量抽時間在這週末補出來。 首先來介紹下爬蟲的作用，爬蟲主要用於大批量抓取網站中我們所需資料，其實就是模擬

java爬蟲入門實戰

爬蟲 百度百科：網路爬蟲（又被稱為網頁蜘蛛，網路機器人，在FOAF社群中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取全球資訊網資訊的程式或者指令碼。另外一些不常使用的名字還有螞蟻、自動索引、模擬程式或者蠕蟲。 爬蟲的實質，就是獲取靜

簡單地學習Java爬蟲->使用Jsoup

簡單地學習Java爬蟲->使用Jsoup 一、gradle環境搭建 implementation 'org.jsoup:jsoup:1.11.3' 二、Activity package com.example.testforjsoup; impor

Java 爬蟲工具Jsoup解析

Jsoup是一款 Java 的 HTML 解析器，可直接解析某個 URL 地址、HTML 文字內容。它提供了一套非常省力的 API，可通過 DOM，CSS 以及類似於 jQuery 的操作方法來取出和操作資料。 jsoup 的主要功能如下： 1. 從一個 U

HtmlUnit java爬蟲入門 真實案例講解 爬取電商網站資料

最近利用空閒時間幫朋友做了個爬取幾個電商網站的資料的小程式 使用的是htmlUnit 自我感覺htmlUnit爬取的速度和穩定性還是很不錯的 所以寫一篇博文介紹下htmlUnit的使用相關 也算記錄一下 這是該網站的主頁面 具體的思路是 獲取商品所在的div 通過div獲

java 爬蟲外掛 jsoup 在springboot 下的使用

引言：jsoup 在 java 基礎上實現爬取靜態網站資訊是非常方便的，只要明白原理就可以為所欲為了，廢話不多說，上程式碼！ 1.先在pom.xml 中引入依賴包  <dependency> <groupId&g

java使用jsoup爬蟲入門

一、maven專案裡pom新增jsoup依賴<dependency>     <groupId>org.jsoup</groupId>     <artifactId>jsoup</artifactId>     &