htmlunit爬取js非同步載入後的頁面

阿新 • • 發佈：2019-02-06

直接上程式碼：

一、 index.html
呼叫後臺請求獲取content中的內容。

<html>
<head>
    <script type="text/javascript" src="./jquery.min.js"></script>
</head>
<body>
<h2>Hello World!</h2>
<div id="content"></div>
<script type="text/javascript">
$(document).ready(function 
(){
      $.post("/evh/test/testList",{},function(data){
          $("#content").text(JSON.stringify(data));
      }); 
});
</script>
</body>
</html>

二、TestController.java
/test/testList介面從後臺資料庫獲取資料。

package com.everhomes.proxy.controller;

import javax.annotation.Resource;

import org.slf 
4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.web.bind.annotation.ExceptionHandler;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import com.everhomes.proxy.mapper.TestMapper;

@RestController
@RequestMapping("/test" 
)
public class TestController {
    private static final Logger logger = LoggerFactory.getLogger(TestController.class);

    @Resource
    private TestMapper testMapper;

    @RequestMapping("testList")
    public Object testList(){
        return testMapper.testList();
    };

    @ExceptionHandler(Exception.class)
    public Object exception(Exception e){
        logger.error("error: ", e);
        return "error: " + e.toString();
    }
}

三、Crawler.java

package com.everhomes.generate;

import java.io.IOException;

import com.gargoylesoftware.htmlunit.NicelyResynchronizingAjaxController;
import com.gargoylesoftware.htmlunit.WebClient;
import com.gargoylesoftware.htmlunit.html.HtmlPage;

public class Crawler {
    public static void main(String[] args) throws IOException, InterruptedException {
        WebClient webClient = new WebClient(BrowserVersion.CHROME);  
            webClient.getOptions().setJavaScriptEnabled(true);
            webClient.getOptions().setCssEnabled(false);
            webClient.getOptions().setRedirectEnabled(true);
            webClient.getOptions().setThrowExceptionOnScriptError(false);
            webClient.getOptions().setTimeout(50000);
            HtmlPage rootPage = webClient.getPage("http://localhost:8080/evh/index.html");  
            webClient.waitForBackgroundJavaScript(10000);

            FileUtils.createFile(DIRECTORY+"cc.html", rootPage.asXml());
            webClient.close();
    }
}

四、pom.xml
新增相關依賴。


    <dependency>
        <groupId>commons-lang</groupId>
        <artifactId>commons-lang</artifactId>
        <version>2.6</version>
    </dependency>
    <dependency> 
            <groupId>net.sourceforge.htmlunit</groupId> 
            <artifactId>htmlunit-core-js</artifactId> 
            <version>2.23</version> 
    </dependency> 
    <dependency> 
            <groupId>net.sourceforge.htmlunit</groupId> 
            <artifactId>htmlunit</artifactId> 
            <version>2.25</version> 
    </dependency>

htmlunit爬取js非同步載入後的頁面

直接上程式碼：一、 index.html 呼叫後臺請求獲取content中的內容。 <html> <head> <script type="text/j

利用scrapy-splash爬取JS生成的動態頁面

目前，為了加速頁面的載入速度，頁面的很多部分都是用JS生成的，而對於用scrapy爬蟲來說就是一個很大的問題，因為scrapy沒有JS engine，所以爬取的都是靜態頁面，對於JS生成的動態頁面都無法獲得。解決方案：利用第三方中介軟體來提供JS渲染服務： scrapy-splash 等。利用webk

Java使用HtmlUnit抓取js渲染頁面

roo art 插件 println word tcs set webclient ble 需求：需要采集js渲染的頁面，有些網站的頁面是js渲染的實現：基於HtmlUnit實現： public static void getAjaxPage() thro

selenium+chromedrive 爬取js載入的動態網頁（下拉才能顯示內容）

from selenium import webdriver from selenium.webdriver.common.keys import Keys #呼叫鍵盤操作 from selenium.webdriver.chrome.options import Opt

利用htmlunit和jsoup來實現爬取js的動態網頁實踐(執行js)

更新，這就尷尬了，這篇文章部落格閱讀文章最多，但是被踩得也最多。爬取思路：所謂動態，就是通過請求後臺，可以動態的改變相應的html頁面，頁面並不是一開始就全部展現出來的。大部分操作都是通過請求完成的，一次請求，一次返回。而在大多數網頁中請求往往都被開發者隱藏在了js程

頁面優化——js非同步載入

同步載入在介紹js非同步載入之前，我們先來看看什麼是js同步載入。我們平時最常使用的就是這種同步載入形式： <script src="http://XXX.com/script.js"></script> 同步模式，又稱阻塞模式，會阻止瀏覽器

java 使用htmlunit模擬登入爬取新浪微博頁面

import java.io.IOException; import java.net.MalformedURLException; import com.gargoylesoftware.htmlunit.BrowserVersion; import com.gargoy

js延遲載入優化頁面響應速度

網頁開啟速度是衡量網站效能的一個極為重要的指標，今天就來說說如何通過JS延遲載入的方式提高頁面響應速度： JS延遲載入的含義：即等頁面載入完成之後再載入 JavaScript 檔案。作用：JS延遲載入有助於提高頁面載入速度。途徑： 1. defer 屬性HTML 4.01 為 <script

js更新dom後頁面及時渲染問題（js執行緒阻塞和解決辦法）

參考：https://blog.csdn.net/qq_39542027/article/details/78893873 兩個概念：1，js是同步載入的 &nb

PHP 結合前端 ajax 爬取網站信息後, 向指定用戶發送指定短信;

icloud identity coo 請求頭 array -type aid 前端之前 <?php /** * Description * @authors Your Name ([email protected]) * # 根據時時彩的最新一期的號碼

js 非同步載入

一、為什麼要JS非同步載入？因為同步載入存在問題！ JS在預設情況下是以同步模式（又稱阻塞模式）載入的，這裡“載入”的意思是“解釋、執行”。在最新版本的瀏覽器中，瀏覽器對於程式碼請求的資源都是瀑布式的載入，而不是阻塞式的，但是JS的執行總是阻塞的。這會引起什麼問題呢？如果在頁面中載

scrapy利用scrapy-splash爬取JS動態生成的標籤

1 引言 scrapy處理爬取靜態頁面，可以說是很好的工具，但是隨著技術的發展，現在很多頁面都不再是靜態頁面了，都是通過AJAX非同步載入資料動態生成的，我們如何去解決問題呢？今天給大家介紹一種方法：scrapy-splash 2 準備工作首先需要安裝一下幾個工具（1）

js-JSON, js非同步載入

1. JSON json是一種傳輸資料的格式（以物件為樣板，本質上就是物件，但用途有區別，物件是本地的，JSON是用於傳輸的。 JSON.parse();//string --> json JSON.stringify();//json --> string 2. 頁面渲染

爬取JS動態生成的URL

愛卡汽車論壇搜尋結果頁面：想要python爬取搜尋結果連結：a標籤中的href，但是這個url是動態生成的。網頁原始碼：用普通方式解析： import urllib.request url = "http://search.xcar.com.cn/metasea

一起學爬蟲——如何爬取通過ajax載入資料的網站

目前很多網站都使用ajax技術動態載入資料，和常規的網站不一樣，資料時動態載入的，如果我們使用常規的方法爬取網頁，得到的只是一堆html程式碼，沒有任何的資料。請看下面的程式碼： url = 'https://www.toutiao.com/search/?keyword=美女' headers = {