2. 程式人生 > >Java爬蟲實踐：Jsoup+HttpUnit爬取今日頭條、網易、搜狐、鳳凰新聞

Java爬蟲實踐：Jsoup+HttpUnit爬取今日頭條、網易、搜狐、鳳凰新聞

阿新 • • 發佈：2019-02-06

0x0 背景

最近學習爬蟲，分析了幾種主流的爬蟲框架，決定使用最原始的兩大框架進行練手：
Jsoup&HttpUnit
其中jsoup可以獲取靜態頁面，並解析頁面標籤，最主要的是，可以採用類似於jquery的語法獲取想要的標籤元素，例如：

//1.獲取url地址的網頁html
html = Jsoup.connect(url).get();
// 2.jsoup獲取新聞<a>標籤
Elements newsATags = html.select("div#headLineDefault")
        .select("ul.FNewMTopLis")
        .select
 
("li")
        .select("a");

但是，有些網頁（例如今日頭條）並非是靜態頁面，而是在首頁載入後通過ajax獲取新聞內容然後用js渲染到頁面上的。對於這種頁面，我們需要使用htmlunit來模擬一個瀏覽器訪問該url，即可獲取該頁面的html字串。程式碼如下：

WebClient webClient = new WebClient(BrowserVersion.CHROME);
webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setCssEnabled(false);
 

webClient.getOptions().setActiveXNative(false);
webClient.getOptions().setCssEnabled(false);
webClient.getOptions().setThrowExceptionOnScriptError(false);
webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
webClient.getOptions().setTimeout(10000);
HtmlPage htmlPage = null;
try {
    htmlPage = webClient.getPage
 
(url);
    webClient.waitForBackgroundJavaScript(10000);
    String htmlString = htmlPage.asXml();
    return Jsoup.parse(htmlString);
} finally {
    webClient.close();
}

0x1 搜狐、鳳凰、網易爬蟲

這三家的頁面都是靜態的，因此程式碼都差不多，只要分析頁面標籤找到對應的元素，提取出想要的內容即可。
爬蟲基本步驟為以下四步：
（1）獲取首頁
（2）使用jsoup獲取新聞<a>標籤
（3）從<a>標籤中抽取基本資訊，封裝成News物件
（4）根據新聞url訪問新聞頁面，獲取新聞內容、圖片等

1.爬蟲介面

一個介面，介面有一個抽象方法pullNews用於拉新聞，有一個預設方法用於獲取新聞首頁：

public interface NewsPuller {

    void pullNews();

    // url:即新聞首頁url
    // useHtmlUnit:是否使用htmlunit
    default Document getHtmlFromUrl(String url, boolean useHtmlUnit) throws Exception {
        if (!useHtmlUnit) {
            return Jsoup.connect(url)
                    //模擬火狐瀏覽器
                    .userAgent("Mozilla/4.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)")
                    .get();
        } else {
            WebClient webClient = new WebClient(BrowserVersion.CHROME);
            webClient.getOptions().setJavaScriptEnabled(true);
            webClient.getOptions().setCssEnabled(false);
            webClient.getOptions().setActiveXNative(false);
            webClient.getOptions().setCssEnabled(false);
            webClient.getOptions().setThrowExceptionOnScriptError(false);
            webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);
            webClient.getOptions().setTimeout(10000);
            HtmlPage htmlPage = null;
            try {
                htmlPage = webClient.getPage(url);
                webClient.waitForBackgroundJavaScript(10000);
                String htmlString = htmlPage.asXml();
                return Jsoup.parse(htmlString);
            } finally {
                webClient.close();
            }
        }
    }

}

2.搜狐爬蟲

@Component("sohuNewsPuller")
public class SohuNewsPuller implements NewsPuller {

    private static final Logger logger = LoggerFactory.getLogger(SohuNewsPuller.class);
    @Value("${news.sohu.url}")
    private String url;
    @Autowired
    private NewsService newsService;

    @Override
    public void pullNews() {
        logger.info("開始拉取搜狐新聞！");
        // 1.獲取首頁
        Document html= null;
        try {
            html = getHtmlFromUrl(url, false);
        } catch (Exception e) {
            logger.error("==============獲取搜狐首頁失敗: {}=============", url);
            e.printStackTrace();
            return;
        }
        // 2.jsoup獲取新聞<a>標籤
        Elements newsATags = html.select("div.focus-news")
                .select("div.list16")
                .select("li")
                .select("a");

        // 3.從<a>標籤中抽取基本資訊，封裝成news
        HashSet<News> newsSet = new HashSet<>();
        for (Element a : newsATags) {
            String url = a.attr("href");
            String title = a.attr("title");
            News n = new News();
            n.setSource("搜狐");
            n.setUrl(url);
            n.setTitle(title);
            n.setCreateDate(new Date());
            newsSet.add(n);
        }
        // 4.根據新聞url訪問新聞，獲取新聞內容
        newsSet.forEach(news -> {
            logger.info("開始抽取搜狐新聞內容：{}", news.getUrl());
            Document newsHtml = null;
            try {
                newsHtml = getHtmlFromUrl(news.getUrl(), false);
                Element newsContent = newsHtml.select("div#article-container")
                        .select("div.main")
                        .select("div.text")
                        .first();
                String title = newsContent.select("div.text-title").select("h1").text();
                String content = newsContent.select("article.article").first().toString();
                String image = NewsUtils.getImageFromContent(content);

                news.setTitle(title);
                news.setContent(content);
                news.setImage(image);
                newsService.saveNews(news);
                logger.info("抽取搜狐新聞《{}》成功！", news.getTitle());
            } catch (Exception e) {
                logger.error("新聞抽取失敗:{}", news.getUrl());
                e.printStackTrace();
            }
        });
    }
}

2.鳳凰新聞爬蟲

@Component("ifengNewsPuller")
public class IfengNewsPuller implements NewsPuller {

    private static final Logger logger = LoggerFactory.getLogger(IfengNewsPuller.class);
    @Value("${news.ifeng.url}")
    private String url;
    @Autowired
    private NewsService newsService;

    @Override
    public void pullNews() {
        logger.info("開始拉取鳳凰新聞！");
        // 1.獲取首頁
        Document html= null;
        try {
            html = getHtmlFromUrl(url, false);
        } catch (Exception e) {
            logger.error("==============獲取鳳凰首頁失敗: {} =============", url);
            e.printStackTrace();
            return;
        }
        // 2.jsoup獲取新聞<a>標籤
        Elements newsATags = html.select("div#headLineDefault")
                .select("ul.FNewMTopLis")
                .select("li")
                .select("a");

        // 3.從<a>標籤中抽取基本資訊，封裝成news
        HashSet<News> newsSet = new HashSet<>();
        for (Element a : newsATags) {
            String url = a.attr("href");
            String title = a.text();
            News n = new News();
            n.setSource("鳳凰");
            n.setUrl(url);
            n.setTitle(title);
            n.setCreateDate(new Date());
            newsSet.add(n);
        }
        // 4.根據新聞url訪問新聞，獲取新聞內容
        newsSet.parallelStream().forEach(news -> {
            logger.info("開始抽取鳳凰新聞《{}》內容：{}", news.getTitle(), news.getUrl());
            Document newsHtml = null;
            try {
                newsHtml = getHtmlFromUrl(news.getUrl(), false);
                Elements contentElement = newsHtml.select("div#main_content");
                if (contentElement.isEmpty()) {
                    contentElement = newsHtml.select("div#yc_con_txt");
                }
                if (contentElement.isEmpty())
                    return;
                String content = contentElement.toString();
                String image = NewsUtils.getImageFromContent(content);
                news.setContent(content);
                news.setImage(image);
                newsService.saveNews(news);
                logger.info("抽取鳳凰新聞《{}》成功！", news.getTitle());
            } catch (Exception e) {
                logger.error("鳳凰新聞抽取失敗:{}", news.getUrl());
                e.printStackTrace();
            }
        });

        logger.info("鳳凰新聞抽取完成！");
    }
}

3.網易爬蟲

@Component("netEasyNewsPuller")
public class NetEasyNewsPuller implements NewsPuller {

    private static final Logger logger = LoggerFactory.getLogger(NetEasyNewsPuller.class);
    @Value("${news.neteasy.url}")
    private String url;
    @Autowired
    private NewsService newsService;
    @Override
    public void pullNews() {
        logger.info("開始拉取網易熱門新聞！");
        // 1.獲取首頁
        Document html= null;
        try {
            html = getHtmlFromUrl(url, false);
        } catch (Exception e) {
            logger.error("==============獲取網易新聞首頁失敗: {}=============", url);
            e.printStackTrace();
            return;
        }
        // 2.jsoup獲取指定標籤
        Elements newsA = html.select("div#whole")
                .next("div.area-half.left")
                .select("div.tabContents")
                .first()
                .select("tbody > tr")
                .select("a[href~=^http://news.163.com.*]");

        // 3.從標籤中抽取資訊，封裝成news
        HashSet<News> newsSet = new HashSet<>();
        newsA.forEach(a -> {
            String url = a.attr("href");
            News n = new News();
            n.setSource("網易");
            n.setUrl(url);
            n.setCreateDate(new Date());
            newsSet.add(n);
        });

        // 4.根據url訪問新聞，獲取新聞內容
        newsSet.forEach(news -> {
            logger.info("開始抽取新聞內容：{}", news.getUrl());
            Document newsHtml = null;
            try {
                newsHtml = getHtmlFromUrl(news.getUrl(), false);
                Elements newsContent = newsHtml.select("div#endText");
                Elements titleP = newsContent.select("p.otitle");
                String title = titleP.text();
                title = title.substring(5, title.length() - 1);
                String image = NewsUtils.getImageFromContent(newsContent.toString());

                news.setTitle(title);
                news.setContent(newsContent.toString());
                news.setImage(image);
                newsService.saveNews(news);
                logger.info("抽取網易新聞《{}》成功！", news.getTitle());
            } catch (Exception e) {
                logger.error("新聞抽取失敗:{}", news.getUrl());
                e.printStackTrace();
            }
        });
        logger.info("網易新聞拉取完成！");


    }
}

0x2 今日頭條爬蟲

由於今日頭條頁面中的新聞是通過ajax獲取後加載的，因此需要使用httpunit進行抓取。
主要程式碼如下：

@Component("toutiaoNewsPuller")
public class ToutiaoNewsPuller implements NewsPuller {

    private static final Logger logger = LoggerFactory.getLogger(ToutiaoNewsPuller.class);
    private static final String TOUTIAO_URL = "https://www.toutiao.com";

    @Autowired
    private NewsService newsService;
    @Value("${news.toutiao.url}")
    private String url;

    @Override
    public void pullNews() {
        logger.info("開始拉取今日頭條熱門新聞！");
        // 1.load html from url
        Document html = null;
        try {
            html = getHtmlFromUrl(url, true);
        } catch (Exception e) {
            logger.error("獲取今日頭條主頁失敗！");
            e.printStackTrace();
            return;
        }

        // 2.parse the html to news information and load into POJO
        Map<String, News> newsMap = new HashMap<>();
        for (Element a : html.select("a[href~=/group/.*]:not(.comment)")) {
            logger.info("標籤a: \n{}", a);
            String href = TOUTIAO_URL + a.attr("href");
            String title = StringUtils.isNotBlank(a.select("p").text()) ?
                    a.select("p").text() : a.text();
            String image = a.select("img").attr("src");

            News news = newsMap.get(href);
            if (news == null) {
                News n = new News();
                n.setSource("今日頭條");
                n.setUrl(href);
                n.setCreateDate(new Date());
                n.setImage(image);
                n.setTitle(title);
                newsMap.put(href, n);
            } else {
                if (a.hasClass("img-wrap")) {
                    news.setImage(image);
                } else if (a.hasClass("title")) {
                    news.setTitle(title);
                }
            }
        }

        logger.info("今日頭條新聞標題拉取完成!");
        logger.info("開始拉取新聞內容...");
        newsMap.values().parallelStream().forEach(news -> {
            logger.info("===================={}====================", news.getTitle());
            Document contentHtml = null;
            try {
                contentHtml = getHtmlFromUrl(news.getUrl(), true);
            } catch (Exception e) {
                logger.error("獲取新聞《{}》內容失敗！", news.getTitle());
                return;
            }
            Elements scripts = contentHtml.getElementsByTag("script");
            scripts.forEach(script -> {
                String regex = "articleInfo: \\{\\s*[\\n\\r]*\\s*title: '.*',\\s*[\\n\\r]*\\s*content: '(.*)',";
                Pattern pattern = Pattern.compile(regex);
                Matcher matcher = pattern.matcher(script.toString());
                if (matcher.find()) {
                    String content = matcher.group(1)
                            .replace("&lt;", "<")
                            .replace("&gt;", ">")
                            .replace("&quot;", "\"")
                            .replace("&#x3D;", "=");
                    logger.info("content: {}", content);
                    news.setContent(content);
                }
            });
        });
        newsMap.values()
                .stream()
                .filter(news -> StringUtils.isNotBlank(news.getContent()) && !news.getContent().equals("null"))
                .forEach(newsService::saveNews);
        logger.info("今日頭條新聞內容拉取完成!");

    }
}

拉取結果：
這裡寫圖片描述

相關推薦

Java爬蟲實踐：Jsoup+HttpUnit爬取今日頭條、網易、搜狐、鳳凰新聞

0x0 背景 最近學習爬蟲，分析了幾種主流的爬蟲框架，決定使用最原始的兩大框架進行練手： Jsoup&HttpUnit 其中jsoup可以獲取靜態頁面，並解析頁面標籤，最主要的是，可以採用類似於jquery的語法獲取想要的標籤元素，例如： /

java爬蟲一（分析要爬取數據的網站）

java爬蟲一、獲取你想要抓取的網站地址：http://www.zhaopin.com/然後打開控制臺，F12，打開。我用的是Chrome瀏覽器，跟個人更喜歡Chrome的控制臺字體。找到搜索欄對應的html標簽：http://sou.zhaopin.com/jobs/searchresult.ashx?jl

Python爬蟲案例：利用Python爬取笑話網

htm 分享 targe pen 技術分享 搞笑 lan tle import 學校的服務器可以上外網了，所以打算寫一個自動爬取笑話並發到bbs的東西，從網上搜了一個笑話網站，感覺大部分還不太冷，html結構如下： 可以看到，笑話的鏈接列表都在<div cla

Python3爬蟲系列：理論+實驗+爬取妹子圖實戰

爬蟲系列： (1) 理論 (2) 實驗 (3) 實戰 1. 準備環境 1.1 安裝CentOS 1.2 安裝Python3 1.3 安裝MongoDB 嘗試使用motor實現

python爬蟲實戰：利用pyquery爬取貓眼電影TOP100榜單內容-2

上次利用pyquery爬取貓眼電影TOP100榜單內容的爬蟲程式碼中點選開啟連結 存在幾個不合理點。1. 第一個就是自定義的create_file（檔案存在判斷及建立）函式。我在後來的python檔案功能相關學習中，發現這個自定義函式屬於重複造輪子功能。因為 for data

HtmlUnit java爬蟲入門 真實案例講解 爬取電商網站資料

最近利用空閒時間幫朋友做了個爬取幾個電商網站的資料的小程式 使用的是htmlUnit 自我感覺htmlUnit爬取的速度和穩定性還是很不錯的 所以寫一篇博文介紹下htmlUnit的使用相關 也算記錄一下 這是該網站的主頁面 具體的思路是 獲取商品所在的div 通過div獲

python --爬蟲基礎 --爬取今日頭條 使用 requests 庫的基本操作, Ajax

'''思路一: 由於是Ajax的網頁,需要先往下劃幾下看看XHR的內容變化二:分析js中的程式碼內容三:獲取一頁中的內容四:獲取圖片五:儲存在本地使用的庫1. requests 網頁獲取庫 2.from urllib.parse import urlencode 將字典轉化為字串內容整

python爬蟲爬取今日頭條APP資料（無需破解as ,cp，_cp_signature引數）

#!coding=utf-8 import requests import re import json import math import random import time from requests.packages.urllib3.exceptions import Insecure

(爬蟲)採用BeautifulSoup和正則爬取今日頭條圖集.詳細!

用beautifulsoup提取文字資訊,正則匹配關鍵的圖片資訊. 最後存入資料庫mongodb. 完成後的感想: 其實分析網頁是最關鍵的一個環節. ajax分析,json處理等等,還是需要多點練習. 下面是程式碼: ''' 步驟: 1. 首先抓取索引頁的內容,

[python爬蟲小實戰2]根據使用者輸入關鍵詞爬取今日頭條圖集，並批量下載圖片

這算是比較貼近於實際生活的爬蟲了，根據使用者輸入的關鍵字批量下載今日頭條相關圖集圖片，，核心用到了urllib.request.urlretrieve()這個方法，然後百度了一下進度條怎麼玩，直接把程式碼加上去了，沒毛病，感覺程式碼有些複雜，其實理論上一層網頁可

用接口爬取今日頭條圖片

b+ req ace nco ext odin api data utf #encoding:utf8import requestsimport jsonimport redemo = requests.get(‘http://www.toutiao.com/api/pc/

Python爬取今日頭條段子

找到 eat 修改 是什麽 一次 時間 地址 style 用戶名 剛入門Python爬蟲，試了下爬取今日頭條官網中的段子，網址為https://www.toutiao.com/ch/essay_joke/源碼比較簡陋，如下： 1 import requests 2 i

使用python-aiohttp爬取今日頭條

cas 觀察 字典類 length tez gen mod 格式 jos http://blog.csdn.net/u011475134/article/details/70198533 原出處 在上一篇文章《使用python-aiohttp爬取網易雲音樂》中，我們給自

爬取今日頭條收藏夾文章列表信息

學習 rep 數據 一個 mar exc 頭條 變量 考試 從了解Python到決定做這個項目，從臨近期末考試到放假在家，利用零碎的時間持續了一個月吧。完成這個項目我用了三個階段階段一：了解Python，開始學習Python的基本語法，觀看相關爬蟲視頻，了解到爬取網頁信息的

爬取今日頭條中的圖片

ear sele url 玄機 一個 www. view image esp 今日頭條搜索 ：cos. 網址：https://www.toutiao.com/search/?keyword=cos 分析1 在network的doc中的Preview，看到只有一句話

爬取今日頭條

type 取數 count format mage window chrome tail con import reimport requestsimport json,osfrom urllib import requestdef get_detail(url,title

python爬取今日頭條關鍵字圖集

try ssi __main__ geo session sea pass lse utf １．訪問搜索圖集結果，獲得json如下(右圖為data的一條的詳細內容)．頁面以Ajax呈現，每次請求20個圖集，其中 title 　　　　--- 圖集名字 artical_u

部落格搬家系列（六）-爬取今日頭條文章

部落格搬家系列（六）-爬取今日頭條文章 一.前情回顧  部落格搬家系列（一）-簡介：https://blog.csdn.net/rico_zhou/article/details/83619152  部落格搬家系列（二）-爬取CSDN部落格：https://blo

爬取今日頭條街拍圖的一次教訓

本 來只要按照崔大大的步驟一步一步做下去，啥問題沒有。 但我看完他的操作之後，自己操作了一遍。在街拍_頭條搜尋這個頁面發起ajax請求並沒有遇到什麼問題，然後理所當然的訪問其中一個子頁面 什麼都沒有想，我就直接看了一下瀏覽器有沒有ajax請求，看了一下ajax(XHR)的內容發現裡面

Ajax爬取今日頭條街拍美圖

1.開啟今日頭條：https://www.toutiao.com 2.搜尋街拍 3.檢查元素，檢視請求發現在URL中每次只有offset發生改變，是一個get請求 1 import requests 2 from urllib.parse import urlencode 3 impor