網站顯示內容基本上都是通過分頁來顯示，我們用jsoup簡單爬取頁面僅能獲取本頁的內容，對於其他頁面的內容該如何爬取？其實很簡單，就是通過檢查下一頁的連結地址，基本上下一頁的超連結地址都是有規律的，基本上都是*****/1或者*****/2等等，所以我們可以按照這個規律，迴圈訪問頁面，抓取資訊即可；當然，通過選擇器直接將下一頁的url獲取出來也可以，不過我覺得直接分析還是比較簡單。

上程式碼：

    public int startSpiderFullHandler(String url) {
        int resultCode = 0;
        Document document = null;
        List<String> titleList = new ArrayList<>();
        for (int i = 0; i < 7; i++) {
            document = getDocument(url + "/page/" + (i + 1));
            //全部標題
            Elements elements2 = document.getElementsByClass("meta-title");
            for (Element element : elements2) {
                logger.info("全部標題" + element.text());
                titleList.add(element.text());
            }
            logger.info("本頁文章：" + elements2.size());
        }
        logger.info("文章總數：" + titleList.size());
        return resultCode;
    }
 

如果需要其他程式碼，我上傳到我的資源裡，可以直接下載

http://download.csdn.net/download/bbs_baibisen/10156414