概念

htmlunit:這東西是java無介面瀏覽器，說白了就是全部是api操作，你就可以訪問別人的網頁。這意味著 你可以寫程式批量去做很多事情 告別手工

問題：

我們採集網頁的時候 經常發現 javascript ajax等方式加載出來的html無法採集到，

這個時候選擇htmlunit 可以解決這個煩惱 因為這貨就是一個瀏覽器 啥不能幹啊 除了沒介面而已

版本：

嘗試了2.3到2.9版本 結果跑起來發現 沒有一個能用的  可能是我使用方式不當 各種js執行異常報錯

最後使用2.15版本 同樣程式碼順利跑起來

專案是maven依賴

        <dependency>
            <groupId>net.sourceforge.htmlunit</groupId>
            <artifactId>htmlunit</artifactId>
            <version>2.15</version>
        </dependency>

        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.7.3</version>
        </dependency>

參考程式碼：

test 1:採集網頁

// 模擬一個瀏覽器
        WebClient webClient = new WebClient(BrowserVersion.getDefault());
        webClient.getOptions().setThrowExceptionOnScriptError(false);
        webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);


        webClient.getOptions().setJavaScriptEnabled(true);
        webClient.getOptions().setActiveXNative(false);
        webClient.getOptions().setCssEnabled(false);
        webClient.getOptions().setThrowExceptionOnScriptError(false);
        webClient.waitForBackgroundJavaScript(10*1000);
        webClient.setAjaxController(new NicelyResynchronizingAjaxController());


        webClient.getOptions().setJavaScriptEnabled(true);

  URL URL = new URL(url);
        HtmlPage page= webClient.getPage(URL);

String firstPageHtml = page.asXml();
        Document doc = Jsoup.parse(firstPageHtml);
        Element element = doc.select(".album-page-1").first();
        String firstPagePhoto = element.html();
        outputAppend(output,firstPagePhoto);
        //追加分頁資料 根據class來獲取節點 獲取li class=pagination下面所有的a 至於你要獲取其他方式 參考xpath 
        List links = (List) page.getByXPath ("//li[@class='pagination']/a");

//迴圈去點選頁面下一頁按鈕
        if(null!=links){
            int size = links.size();
            if(size>3){
                int min = 2;
                int max = size-2;
                for(int i=min;i<=max;i++){

//因為迴圈點選頁面按鈕，返回的總是第一頁資料，所有我們乾脆就重新請求一次下一頁再發起一次瀏覽器請求 拜求大神能解決這個問題 
                    getNextPageContent(url, i);
                }
            }
        }

    private String getNextPageContent(String url,int idx) throws IOException {
        HtmlPage newPage = HtmlPager.getPage(url);
        WebClientFactory.getWebClient().waitForBackgroundJavaScript(1000*4);
        List newLinks = (List) newPage.getByXPath ("//li[@class='pagination']/a");
        HtmlAnchor newlink = (HtmlAnchor)newLinks.get(idx);
        newPage = newlink.click();
        WebClientFactory.closeAllWindows();
        String newHtml = newPage.asXml();
        Document doc = Jsoup.parse(newHtml);
        Element element = doc.select(".album-page-" + idx).first();
        return element.html();
    }

至此 結束了 文章中程式碼不一定能直接跑起來 拷貝程式碼比較麻煩 但是大體90%的邏輯都在了

希望htmlUnit儘快的強大起來 

另外求高手賜教 如何能迴圈點選獲取js執行的最新的所有html

test 2 驗證碼登入

try
        {
            WebClient webClient = new WebClient(BrowserVersion.CHROME);
        webClient.getOptions().setThrowExceptionOnScriptError(false);
        webClient.getOptions().setThrowExceptionOnFailingStatusCode(false);


        webClient.getOptions().setJavaScriptEnabled(true);
        webClient.getOptions().setActiveXNative(false);
        webClient.getOptions().setCssEnabled(false);
        webClient.getOptions().setThrowExceptionOnScriptError(false);
        webClient.waitForBackgroundJavaScript(10*1000);
        webClient.setAjaxController(new NicelyResynchronizingAjaxController());
            HtmlPage page = webClient.getPage("http://www.***.com.cn/login.htm");


            HtmlElement username = (HtmlElement)page.getElementById("mobile");
            HtmlElement password = (HtmlElement)page.getElementById("password");
            HtmlElement valiCode = (HtmlElement)page.getElementById("checkCode");
            HtmlImage valiCodeImg = (HtmlImage) page.getElementById("checkCodeImage");
            ImageReader imageReader = valiCodeImg.getImageReader();
            BufferedImage bufferedImage = imageReader.read(0);


            JFrame f2 = new JFrame();
            JLabel l = new JLabel();
            l.setIcon(new ImageIcon(bufferedImage));
            f2.getContentPane().add(l);
            f2.setSize(300, 300);
            f2.setTitle("驗證碼");
            f2.setVisible(true);


            String valicodeStr = JOptionPane.showInputDialog("請輸入驗證碼：");
            f2.setVisible(false);
            List newLinks = (List) page.getByXPath ("//li[@class='login']/a");
            HtmlAnchor newlink = (HtmlAnchor)newLinks.get(0);

            username.click();
            username.type("123456");
            password.click();
            password.type("123456");
            valiCode.click();
            valiCode.type(valicodeStr);
            HtmlPage logingPage= newlink.click();

//拿到登入後返回資料 
           System.out.println(logingPage.getWebResponse().getContentAsString());

//繼續登陸後的操作

//......
            System.exit(0);
        }
        catch(Exception e)
        {
            e.printStackTrace();
        }