本人因需要大量資料,今天第一天接觸爬蟲,使用江湖傳說java下的jquery之稱的jsoup,確實很方便易上手,也是目前比較流行的技術,對初學者來說非常easy,下面我也會繼續寫n篇記錄自己的學習成長曲線,後續會出分頁爬取與圖片爬取,以及新增資料庫的blog.

可以看到文章列表都在class=”list”下,list_title下的結構如下,爬取link_title下href元素與html內容

1. maven的pom新增如下依賴

<dependency>
            <groupId>org.jsoup</groupId>
            <artifactId
 
>jsoup</artifactId>
            <version>1.7.3</version>
</dependency>

1. junit測試程式碼

@Test
    public void getBlogText(){
        Connection connection = Jsoup.connect("http://blog.csdn.net/qq_30581017");
        connection.header("User-Agent", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"
 
);

        try {
            Document document = connection.timeout(100000).get();

            //包含所有列表的文章
            Elements elements = document.getElementsByClass("list").first().children();
            for (Element element : elements) {
              //link_title下元素所有的元素
               Elements list_item = element.getElementsByClass
 
("link_title").first().children();

                for (Element elementEach : list_item) {

                        String path = elementEach.attr("href");

                        String text = elementEach.html();

                    System.out.println(path + " -> " + text);
                }
            }



        } catch (IOException e) {
            e.printStackTrace();
        }


    }

3.測試結果