本文程式碼等僅作學習記錄使用

一、爬蟲原理
網路爬蟲指按照一定的規則（模擬人工登入網頁的方式），自動抓取網路上的程式。簡單的說，就是講你上網所看到頁面上的內容獲取下來，並進行儲存。網路爬蟲的爬行策略分為深度優先和廣度優先。

（1）、深度優先
深度優先搜尋策略從起始網頁開始，選擇一個URL進入，分析這個網頁中的URL，選擇一個再進入。如此一個連結一個連結地抓取下去，直到處理完一條路線之後再處理下一條路線。深度優先策略設計較為簡單。然而入口網站提供的連結往往最具價值，PageRank也很高，但每深入一層，網頁價值和PageRank都會相應地有所下降。這暗示了重要網頁通常距離種子較近，而過度深入抓取到的網頁卻價值很低。同時，這種策略抓取深度直接影響著抓取命中率以及抓取效率，對抓取深度是該種策略的關鍵。

（2）、廣度優先：
廣度優先搜尋策略是指在抓取過程中，在完成當前層次的搜尋後，才進行下一層次的搜尋。該演算法的設計和實現相對簡單。在目前為覆蓋儘可能多的網頁，一般使用廣度優先搜尋方法。也有很多研究將廣度優先搜尋策略應用於聚焦爬蟲中。其基本思想是認為與初始URL在一定連結距離內的網頁具有主題相關性的概率很大。另外一種方法是將廣度優先搜尋與網頁過濾技術結合使用，先用廣度優先策略抓取網頁，再將其中無關的網頁過濾掉。這些方法的缺點在於，隨著抓取網頁的增多，大量的無關網頁將被下載並過濾，演算法的效率將變低。

二、抓取結構和規則

1.結構檢視

本文主要介紹基礎的抓取方式，以html格式為例
以噹噹網書籍頁面為例，如圖

從圖中可以看出 ，網頁中的圖書列表是一個以 ul 開始的 li標籤遍歷列表

我們需要的就是每個li標籤中的資料，每個li標籤相當於一個java中的物件。

2.html資料規則

從上圖能看出每條資料外層都具備帶有class [CSS樣式]的標籤，如下圖

java 具有相對應的jar包來對html或xml資料結構進行解析，本文用的jar包為

三、程式碼實現

1.類展示

我用的springboot微框架 單純抓取的話直接寫main類就可以

（1）、model類

package com.weixin.model.book;

import com.weixin.model.BaseModel;
import
 
 org.apache.ibatis.type.Alias;


/**
 * create by frank
 * on 2018/01/25
 * 書籍資訊類
 */
@Alias("dangBook")//mybatis 資料型別繫結
public class DangBook extends BaseModel {

    private String title;
    private String img;
    private String author;
    private String publish;
    private String detail;
    private float price;
    private String parentUrl;//父連結，即請求連結

    public String getParentUrl() {
        return parentUrl;
    }

    public void setParentUrl(String parentUrl) {
        this.parentUrl = parentUrl;
    }

    public String getAuthor() {
        return author;
    }

    public void setAuthor(String author) {
        this.author = author;
    }

    public String getPublish() {
        return publish;
    }

    public void setPublish(String publish) {
        this.publish = publish;
    }

    public String getTitle() {
        return title;
    }

    public void setTitle(String title) {
        this.title = title;
    }

    public String getImg() {
        return img;
    }

    public void setImg(String img) {
        this.img = img;
    }

    public String getDetail() {
        return detail;
    }

    public void setDetail(String detail) {
        this.detail = detail;
    }

    public float getPrice() {
        return price;
    }

    public void setPrice(float price) {
        this.price = price;
    }
}

附帶公共類 BaseModel

package com.weixin.model;

import org.apache.ibatis.type.Alias;

import java.util.Date;

/**
 * 基礎類
 * create by frank
 * on 2017/12/18
 */
public class BaseModel {
    private int id;
    private Date inputTime;

    public Date getInputTime() {
        return inputTime;
    }

    public void setInputTime(Date inputTime) {
        this.inputTime = inputTime;
    }

    public int getId() {
        return id;
    }

    public void setId(int id) {
        this.id = id;
    }
}

（2）、mapper 對映檔案（dao、service類省略）附帶資料庫表格，如圖

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">

<mapper namespace="DangBook">

    <insert id="insert" parameterType="dangBook">
        INSERT INTO  dd_book (title,img,author,publish,detail,price,input_time,parent_url)
        VALUES
        (#{title,jdbcType=VARCHAR},
        #{img,jdbcType=VARCHAR},
        #{author,jdbcType=VARCHAR},
        #{publish,jdbcType=VARCHAR},
        #{detail,jdbcType=VARCHAR},
        #{price,jdbcType=NUMERIC},
        #{inputTime,jdbcType=TIMESTAMP},
        #{parentUrl,jdbcType=VARCHAR})
    </insert>

</mapper>

（3）、連結請求工具類（根據url請求獲取html文字）

注意import 為apache包

package utils;

import org.apache.http.HttpResponse;
import org.apache.http.HttpStatus;
import org.apache.http.HttpVersion;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.message.BasicHttpResponse;
import org.apache.http.util.EntityUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.io.IOException;


/**
 * http請求類
 * create by frank
 * on 2018/01/25
 */
public class HttpGetUtils {

    private static Logger logger = LoggerFactory.getLogger(HttpGetUtils.class);

    public static String getUrlContent(String url) {
        if (url == null) {
            logger.info("url地址為空");
            return null;
        }
        logger.info("url為:" + url);
        logger.info("開始解析");
        String contentLine = null;
        //最新版httpclient.jar已經捨棄new DefaultHttpClient()
        //但是還是可以用的
        HttpClient httpClient = new DefaultHttpClient();
        HttpResponse httpResponse = getResp(httpClient, url);
        if (httpResponse.getStatusLine().getStatusCode() == 200) {
            try {
                contentLine = EntityUtils.toString(httpResponse.getEntity(), "utf-8");
            } catch (IOException e) {
                e.printStackTrace();
            }
        }
        logger.info("解析結束");
        return contentLine;
    }


    /**
     * 根據url 獲取response物件
     *
     * @param httpClient
     * @param url
     * @return
     */
    public static HttpResponse getResp(HttpClient httpClient, String url) {
        logger.info("開始獲取response物件");
        HttpGet httpGet = new HttpGet(url);
        HttpResponse httpResponse = new BasicHttpResponse(HttpVersion.HTTP_1_1, HttpStatus.SC_OK, "OK");
        try {
            httpResponse = httpClient.execute(httpGet);
        } catch (IOException e) {
            e.printStackTrace();
        }
        logger.info("獲取物件結束");
        return httpResponse;
    }

}

（4）、解析類（解析html獲取有用資料，重要類）

package utils;

import com.weixin.model.book.DangBook;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.ArrayList;
import java.util.Date;
import java.util.List;

/**
 * 資料解析類  丁丁網圖集
 * create by frank
 * on 2018/01/25
 */
public class ParseUtils {

   private static Logger logger = LoggerFactory.getLogger(ParseUtils.class);

    public static List<DangBook> dingParse(String url) {
        List<DangBook> list = new ArrayList<>();
        Date date = new Date();
        if (url == null) {
            logger.info("url為空，資料獲取結束");
            return null;
        }

        logger.info("開始獲取資料");
        String content = HttpGetUtils.getUrlContent(url);
        if (content != null)
            logger.info("得到解析資料");
        else {
            logger.info("解析資料為空，資料獲取結束");
            return null;
        }

        Document document = (Document) Jsoup.parse(content);
        //遍歷噹噹圖書列表
        for(int i =1;i<=60;i++){
        Elements elements = document.select("ul[class=bigimg]").select("li[class=line"+i+"]");
        for (Element e : elements) {
            String title = e.select("p[class=name]").select("a").text();
            logger.info("書名：" + title);
            String img = e.select("a[class=pic]").select("img").attr("data-original");
            logger.info("圖片地址：" + img);
            String authorAndPublish = e.select("p[class=search_book_author]").select("span").select("a").text();
            String []a = authorAndPublish.split(" ");
            String author = a[0];
            logger.info("作者：" + author);
            String publish = a[a.length - 1];
            logger.info("出版社：" + publish);
//            String publish =e.select("p[class=name]").select("a").text();
            String detail = e.select("p[class=detail]").text();
            logger.info("圖書介紹：" + detail);
            String priceS = e.select("p[class=price]").select("span[class=search_now_price]").text();
            float price = Float.parseFloat(priceS.substring(1, priceS.length() - 1));
            logger.info("價格：" + price);
            logger.info("-------------------------------------------------------------------------");
            DangBook dangBook = new DangBook();
            dangBook.setTitle(title);
            dangBook.setImg(img);
            dangBook.setAuthor(author);
           dangBook.setPublish(publish);
            dangBook.setDetail(detail);
            dangBook.setPrice(price);
            dangBook.setInputTime(date);
            dangBook.setParentUrl(url);
            list.add(dangBook);
        }
        }
        return list;
    }
}

（5）、控制層類

package com.weixin.controller.book;

import com.alibaba.fastjson.JSONObject;
import com.weixin.model.book.DangBook;
import com.weixin.service.book.BookService;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import utils.ParseUtils;
import utils.Test;
import java.util.List;

@RestController
@RequestMapping("/book")
public class BookController {
    @Autowired
    private BookService bookService;
    private static Logger logger = LoggerFactory.getLogger(Test.class);

    @RequestMapping("/parse")
    public JSONObject parse(String url){

        JSONObject jsonObject = new JSONObject();
        List<DangBook> dangBooks = ParseUtils.dingParse(url);

        if(dangBooks != null && dangBooks.size() >0){

            logger.info("解析完資料，準備入庫");
            bookService.insertBatch(dangBooks);
            logger.info("入庫完成，入庫資料條數"+ dangBooks.size());
            jsonObject.put("code",1);
            jsonObject.put("result","success");
        }else{
            jsonObject.put("code",0);
            jsonObject.put("result","fail");
        }

        return jsonObject;
    }
}

以上就是完整的程式碼類

四、post man測試結果

1.請求方式 如圖

2.控制檯輸出

3、如上圖所示，最後執行入庫操作，檢視資料庫

我程式碼中的解析作者和出版社那邊程式碼有點小問題，導致解析部分沒有獲取到，這個具體就不改了，大體思路就是這樣

這種就算是最基本的資料爬取了，再深入就涉及到正則表示式、佇列、自動查詢等比較複雜的操作

五、總結

（1）、上述操作主要注意請求程式碼和資料解析程式碼，特別是資料解析
（2）、不同網站有不同的資料邏輯和結構，基本上不同網站都有特定的一套爬蟲規則
（3）、不少網站都設定反爬機制，想要得到更多資料還要進一步學習
（4）、雖然java有專門的封裝好的jar包進行解析，但是最為開發人員還是要去了解他的實現原理，懂得了最基本的才是最重要的，而不是依賴現成的東西。