2. 程式人生 > 程式設計 >WebMagic 實現爬蟲入門教程

WebMagic 實現爬蟲入門教程

阿新 • • 發佈：2020-06-24

本示例實現某電影網站最新片源名稱列表及詳情頁下載地址的抓取。

webmagic是一個開源的Java垂直爬蟲框架，目標是簡化爬蟲的開發流程，讓開發者專注於邏輯功能的開發。

WebMagic 特點：

  • 完全模組化的設計，強大的可擴充套件性。
  • 核心簡單但是涵蓋爬蟲的全部流程，靈活而強大，也是學習爬蟲入門的好材料。
  • 提供豐富的抽取頁面API。
  • 無配置，但是可通過POJO+註解形式實現一個爬蟲。
  • 支援多執行緒。
  • 支援分散式。
  • 支援爬取js動態渲染的頁面。
  • 無框架依賴，可以靈活的嵌入到專案中去。

示例

本示例實現：https://www.dytt8.net/html/gndy/dyzz/list23

1.html 電影網站最新片源名稱及詳情頁影片下載連結內容的抓取。

配置Maven依賴

pom.xml配置，這裡因為日誌檔案和spring boot衝突了，所以移除webmagic的日誌依賴 log4j12

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.1.9.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.easy</groupId>
    <artifactId>webmagic</artifactId>
    <version>0.0.1</version>
    <name>webmagic</name>
    <description>Demo project for Spring Boot</description>

    <properties>
        <java.version>1.8</java.version>
        <encoding>UTF-8</encoding>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    </properties>

    <dependencies>
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-core</artifactId>
            <version>0.7.3</version>
            <exclusions>
                <exclusion>
                    <groupId>org.slf4j</groupId>
                    <artifactId>slf4j-log4j12</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <dependency>
            <groupId>us.codecraft</groupId>
            <artifactId>webmagic-extension</artifactId>
            <version>0.7.3</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
        
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <scope>compile</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                <configuration>
                    <source>1.8</source>
                    <target>1.8</target>
                </configuration>
            </plugin>
        </plugins>
    </build>

</project>
複製程式碼

建立列表及詳情頁解析類

PageProcessor負責解析頁面，抽取有用資訊，以及發現新的連結。WebMagic使用Jsoup作為HTML解析工具，並基於其開發瞭解析XPath的工具Xsoup。

ListPageProcesser.java 實現影片名稱列表獲取

package com.easy.webmagic.controller;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.processor.PageProcessor;

public class ListPageProcesser implements PageProcessor {
    private Site site = Site.me().setDomain("127.0.0.1");

    @Override
    public void process(Page page) {
        page.putField("title",page.getHtml().xpath("//a[@class='ulink']").all().toString());
    }

    @Override
    public Site getSite() {
        return site;
    }
}複製程式碼

DetailPageProcesser.java 實現詳情頁影片下載地址獲取

package com.easy.webmagic.controller;

import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.processor.PageProcessor;

public class DetailPageProcesser implements PageProcessor {
    private Site site = Site.me().setDomain("127.0.0.1");

    @Override
    public void process(Page page) {
        page.putField("download",page.getHtml().xpath("//*[@id=\"Zoom\"]/span/table/tbody/tr/td/a").toString());
    }

    @Override
    public Site getSite() {
        return site;
    }
}
複製程式碼

使用Pipeline處理抓取結果

Pipeline負責抽取結果的處理，包括計算、持久化到檔案、資料庫等。WebMagic預設提供了“輸出到控制檯”和“儲存到檔案”兩種結果處理方案。

Pipeline定義了結果儲存的方式，如果你要儲存到指定資料庫，則需要編寫對應的Pipeline。對於一類需求一般只需編寫一個Pipeline。

這裡不做任何處理，直接把抓包到的結果在控制檯輸出

MyPipeline.java

package com.easy.webmagic.controller;

import lombok.extern.slf4j.Slf4j;
import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Task;
import us.codecraft.webmagic.pipeline.Pipeline;

import java.util.Map;

@Slf4j
public class MyPipeline implements Pipeline {
    @Override
    public void process(ResultItems resultItems,Task task) {
        log.info("get page: " + resultItems.getRequest().getUrl());
        for (Map.Entry<String,Object> entry : resultItems.getAll().entrySet()) {
            log.info(entry.getKey() + ":\t" + entry.getValue());
        }
    }
}複製程式碼

啟動抓包入口

Main.java

package com.easy.webmagic.controller;

import us.codecraft.webmagic.Spider;

public class Main {
    public static void main(String[] args) {
        //獲取影片標題和頁面連結
        Spider.create(new ListPageProcesser()).addUrl("https://www.dytt8.net/html/gndy/dyzz/list_23_1.html")
                .addPipeline(new MyPipeline()).thread(1).run();

        //獲取指定詳情頁面的影片下載地址
        Spider.create(new DetailPageProcesser()).addUrl("https://www.dytt8.net/html/gndy/dyzz/20191204/59453.html")
                .addPipeline(new MyPipeline()).thread(1).run();
    }
}複製程式碼

執行示例

啟動執行Main.java，觀察控制檯

影片第一頁標題列表

14:06:28.704 [pool-1-thread-1] INFO com.easy.webmagic.controller.MyPipeline - get page: https://www.dytt8.net/html/gndy/dyzz/list_23_1.html
14:06:28.704 [pool-1-thread-1] INFO com.easy.webmagic.controller.MyPipeline - title:    [<a href="/html/gndy/dyzz/20191204/59453.html" class="ulink">2019年劇情《中國機長》HD國語中英雙字</a>,<a href="/html/gndy/dyzz/20191201/59437.html" class="ulink">2019年動畫喜劇《雪人奇緣》BD中英雙字幕</a>,<a href="/html/gndy/dyzz/20191201/59435.html" class="ulink">2019年喜劇《伯納黛特你去了哪》BD中英雙字幕</a>,<a href="/html/gndy/dyzz/20191129/59431.html" class="ulink">2019年高分劇情《愛爾蘭人/愛爾蘭殺手》BD中英雙字幕</a>,<a href="/html/gndy/dyzz/20191129/59429.html" class="ulink">2019年劇情《唐頓莊園電影版》BD中英雙字[修正字幕]</a>,<a href="/html/gndy/dyzz/20191129/59428.html" class="ulink">2018年懸疑動作《雪暴》BD國語中字</a>,<a href="/html/gndy/dyzz/20191128/59427.html" class="ulink">2019年劇情驚悚《官方機密》BD中英雙字幕</a>,<a href="/html/gndy/dyzz/20191127/59425.html" class="ulink">2019年高分劇情《少年的你》HD國語中字</a>,<a href="/html/gndy/dyzz/20191126/59424.html" class="ulink">2019年劇情冒險《攀登者》HD國語中英雙字</a>,<a href="/html/gndy/dyzz/20191126/59423.html" class="ulink">2019年劇情《金翅雀》BD中英雙字幕</a>,<a href="/html/gndy/dyzz/20191125/59422.html" class="ulink">2019年高分獲獎《好萊塢往事》BD中英雙字幕</a>,<a href="/html/gndy/dyzz/20191125/59421.html" class="ulink">2018年動畫冒險《貓與桃花源》BD國粵雙語中字</a>,<a href="/html/gndy/dyzz/20191124/59418.html" class="ulink">2019年恐怖《準備好了沒/弒婚遊戲》BD中英雙字幕</a>,<a href="/html/gndy/dyzz/20191124/59417.html" class="ulink">2019年劇情懸疑《雙魂》BD國粵雙語中字</a>,<a href="/html/gndy/dyzz/20191122/59409.html" class="ulink">2019年科幻動作《雙子殺手》HD中英雙字幕</a>,<a href="/html/gndy/dyzz/20191122/59408.html" class="ulink">2019年奇幻《天堂山/天堂山�f》BD中英雙字幕</a>,<a href="/html/gndy/dyzz/20191121/59407.html" class="ulink">2019年恐怖《小丑回魂2》BD中英雙字幕</a>,<a href="/html/gndy/dyzz/20191117/59403.html" class="ulink">2019年高分動畫《克勞斯：聖誕節的祕密》BD國英西三語雙字</a>,<a href="/html/gndy/dyzz/20191116/59400.html" class="ulink">2019年動作《天使陷落》BD中英雙字幕</a>,<a href="/html/gndy/dyzz/20191115/59399.html" class="ulink">2019年懸疑驚悚《犯罪現場》HD國粵雙語中字</a>,<a href="/html/gndy/dyzz/20191115/59398.html" class="ulink">2019年高分劇情《別告訴她》BD中英雙字幕</a>,<a href="/html/gndy/dyzz/20191114/59393.html" class="ulink">2019年動作《原始恐懼》BD中英雙字幕</a>,<a href="/html/gndy/dyzz/20191114/59392.html" class="ulink">2019年劇情《婚禮之後》BD中英雙字幕</a>,<a href="/html/gndy/dyzz/20191113/59387.html" class="ulink">2019年動作戰爭《危機：龍潭之戰》BD中英雙字幕</a>,<a href="/html/gndy/dyzz/20191113/59386.html" class="ulink">2019年犯罪動作《沉默的證人》BD國粵雙語中字</a>]複製程式碼

詳情頁影片下載地址

14:06:34.365 [pool-2-thread-1] INFO com.easy.webmagic.controller.MyPipeline - get page: https://www.dytt8.net/html/gndy/dyzz/20191204/59453.html
14:06:34.365 [pool-2-thread-1] INFO com.easy.webmagic.controller.MyPipeline - download:    <a href="ftp://ygdy8:[email protected]:4233/陽光電影www.ygdy8.com.中國機長.HD.1080p.國語中英雙字.mkv">ftp://ygdy8:[email protected]:4233/陽光電影www.ygdy8.com.中國機長.HD.1080p.國語中英雙字.mkv</a>複製程式碼

表示成功抓取到資料，然後做你想做的事情了。

爬蟲進階

使用Selectable抽取元素

Selectable相關的抽取元素鏈式API是WebMagic的一個核心功能。使用Selectable介面，你可以直接完成頁面元素的鏈式抽取，也無需去關心抽取的細節。

爬蟲的配置、啟動和終止

Spider是爬蟲啟動的入口。在啟動爬蟲之前，我們需要使用一個PageProcessor建立一個Spider物件，然後使用run()進行啟動。同時Spider的其他元件（Downloader、Scheduler、Pipeline）都可以通過set方法來進行設定。

Jsoup和Xsoup

WebMagic的抽取主要用到了Jsoup和我自己開發的工具Xsoup。

爬蟲的監控

利用這個功能，你可以檢視爬蟲的執行情況——已經下載了多少頁面、還有多少頁面、啟動了多少執行緒等資訊。該功能通過JMX實現，你可以使用Jconsole等JMX工具檢視本地或者遠端的爬蟲資訊。

配置代理

ProxyProvider有一個預設實現：SimpleProxyProvider。它是一個基於簡單Round-Robin的、沒有失敗檢查的ProxyProvider。可以配置任意個候選代理，每次會按順序挑選一個代理使用。它適合用在自己搭建的比較穩定的代理的場景。

處理非HTTP GET請求

採用在Request物件上新增Method和requestBody來實現。例如:

Request request = new Request("http://xxx/path");
request.setMethod(HttpConstant.Method.POST);
request.setRequestBody(HttpRequestBody.json("{'id':1}","utf-8"));複製程式碼

使用註解編寫爬蟲

WebMagic支援使用獨有的註解風格編寫一個爬蟲，引入webmagic-extension包即可使用此功能。

在註解模式下，使用一個簡單物件加上註解，可以用極少的程式碼量就完成一個爬蟲的編寫。對於簡單的爬蟲，這樣寫既簡單又容易理解，並且管理起來也很方便。

資料

Spring Boot、Cloud 學習專案

相關推薦

WebMagic 實現爬蟲入門教程

本示例實現某電影網站最新片源名稱列表及詳情頁下載地址的抓取。 webmagic是一個開源的Java垂直爬蟲框架，目標是簡化爬蟲的開發流程，讓開發者專注於邏輯功能的開發。

Python爬蟲入門教程：爬取豆瓣小說文學

本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯絡我們以作處理

Python爬蟲入門教程 1-100 CentOS環境安裝

本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯絡我們以作處理

爬蟲入門教程⑩— 用漂亮的圖表展示爬取到的資料

經過了前面的努力，我們成功獲取到了資料，並且學會了儲存，但是隻是用網頁展示出來，是不是有一些不夠美觀呢？

Python爬蟲入門教程：爬取boss直聘招聘資料並做視覺化展示

本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,如有問題請及時聯絡我們以作處理。

Python爬蟲入門教程：下載企鵝動漫視訊

好看的動漫當然要一口氣看完，但是他又有廣告，為了節約時間，我直接就把它們爬下來了~

寫給後端的Docker初級入門教程:實現高效率自動化部署

在上一篇文章面向後端的Docker初級入門教程：DockerFile 命令詳解 中，我們比較詳細的講解了docker映象構建指令碼DockerFile的使用和命令，DockerFile的出現讓構建Docker映象的過程更加直觀和高效，但是，和我之前大

springBoot+webMagic實現網站爬蟲的例項程式碼

前端時間公司專案需要抓取各類資料，py玩的不6，只好研究Java爬蟲方案，做一個總結。

轉 RabbitMQ 入門教程(PHP版) 使用rabbitmq-delayed-message-exchange外掛實現延遲功能

延遲任務應用場景 場景一：物聯網系統經常會遇到向終端下發命令，如果命令一段時間沒有應答，就需要設定成超時。

[轉]mui初級入門教程（二）— html5+ webview 實現底部欄切換用法詳解

原文：https://ask.dcloud.net.cn/article/650 ==========-----------------------------------------------------------------------------------------------------------------------

Spring Boot 整合Shiro的多realm實現以及shiro基本入門教程

情景 我的專案中有六個使用者角色（學校管理員，學生等），需要進行分別登陸。如果在一個realm中，對controller封裝好的Token進行Service驗證，需要在此realm中注入六個資料庫操作物件，然後寫一堆if語句來判斷應該使

Prometheus入門教程（六）：Spring Boot Actuator 實現應用監控

文章首發於【陳樹義】公眾號，點選跳轉到原文：https://mp.weixin.qq.com/s/YuR_FcYzvzO1rXbnoVYNfg

爬蟲工程師的unidbg入門教程（案例程式碼更新）

package com.cxa; import com.github.unidbg.Module; import com.github.unidbg.arm.ARMEmulator; import com.github.unidbg.linux.android.AndroidARMEmulator;

JavaWeb入門教程之分頁查詢功能的簡單實現

一、MySql實現分頁查詢的SQL語句 1、分頁需求： 客戶端通過傳遞pageNo(頁碼)，counter(每頁顯示的條數)兩個引數去分頁查詢資料庫表中的資料，那我們知道MySql資料庫提供了分頁的函式limit m,n，但是該函式的用法和我

Prometheus 入門教程之SpringBoot 實現自定義指標監控

上篇文章我們已經可以在 Grafana 上看到對應的 SpringBoot 應用資訊了，通過這些資訊我們可以對 SpringBoot 應用有更全面的監控。但是如果我們需要對一些業務指標做監控，我們應該怎麼做呢？這篇文章就帶你一步步實現

寫給Java程式設計師的TypeScript入門教程（二）

本文內容承接本系列的上一篇《寫給Java程式設計師的TypeScript入門教程（一）》。上一篇介紹了本系列教程的背景，並進行了開發環境的搭建。本系列的教學思路是通過專案實戰來學習TypeScript，選取了一個簡單的雲服務

寫給後端的Nginx初級入門教程:Nginx原理初探

在上一篇文章寫給後端的Nginx初級入門教程:配置高可用叢集 中，我們使用keepalived實現了我們Nginx伺服器的高可用配置，防止因為Nginx伺服器掛掉而導致整個應用掛掉的這種情況的發生。而Nginx作為當下最受歡迎的web伺

CMake學習筆記（一）基本概念介紹、入門教程及CLion安裝配置

什麼是構建系統 在軟體開發中，構建系統（build system）是用來從原始碼生成使用者可以使用的目標的自動化工具。目標可以包括庫、可執行檔案、或者生成的指令碼等等。

寫給後端的Hadoop初級入門教程：概念篇

前言： Hello大家好，我是韓數。距離我們上一個系列寫給後端的Nginx初級入門教程已經過去整整25天了，中間穿插了兩篇區塊鏈相關的文章，其實吧，這二十來天我一直在憋大招，那就是這個最新的系列寫給後端的Hadoop初級

Shiro入門教程

Shiro是一個強大的簡單易用的Java安全框架，主要用來更便捷的認證，授權，加密，會話管理。Shiro首要的和最重要的目標就是容易使用並且容易理解。