簡介：

注意問題：本文是基於校園資訊門戶進行的實驗，因為使用者名稱密碼需要的涉密，因此文中的程式碼不加修改肯定不能直接執行成功。如果讀者二次開發過程執行程式碼出現問題歡迎與作者聯絡。可以直接留言，也可以郵箱留言[email protected]

模擬登入的原理：

　　總的來說，模擬傳送請求，是瀏覽器傳送什麼，我們在程式碼裡面就傳送什麼，包括請求的url，請求的引數，請求的方式，及請求頭。既然是登入請求，則滿足登入請求所需的條件即可。這裡的重點是確定登入表單的引數，確定傳送登入請求時所需的引數，以及這些引數被傳到哪裡去了。

實現過程：

1.使用瀏覽器的審查元素功能(F12)檢視需要訪問介面的一些引數.

開啟審查元素後正常輸入使用者名稱和密碼進行登入操作，登入成功的過程會發現審查元素內多了很多元素。

依次點選 network-->login(找不到這個也可以點選類似的帶login的其他name)-->Headers-->圖中的Request URL就是下文需要新增的網址

2.實際操作方法

package debug;

import java.util.HashMap;
import java.util.List;
import java.util.Map;

import org.jsoup.Connection;
import org.jsoup.Connection.Method;
 
import org.jsoup.Connection.Response;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;


public class test {

public static String LOGIN_URL = "http://authserver.tjut.edu.cn/authserver/login";//上文提到的Request URL
public static String USER_AGENT = "User-Agent";
public static
 
 String USER_AGENT_VALUE = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0";

public static void main(String[] args) throws Exception {
　　
    simulateLogin("203128***", "你自己的密碼"); // 第二處需要修改的位置：模擬登陸github的使用者名稱和密碼

}

/**
 * @param userName 使用者名稱
 * @param pwd 密碼
 * @throws Exception
 */
public static void simulateLogin(String userName, String pwd) throws Exception {

    /* 
     * 第一次請求 
     * grab login form page first
     * 獲取登陸提交的表單資訊，及修改其提交data資料（login，password）
     */
    // get the response, which we will post to the action URL(rs.cookies())
    Connection con = Jsoup.connect(LOGIN_URL);  // 獲取connection
    con.header(USER_AGENT, USER_AGENT_VALUE);   // 配置模擬瀏覽器
    Response rs = con.execute();                // 獲取響應
    Document d1 = Jsoup.parse(rs.body());       // 通過Jsoup將返回資訊轉換為Dom樹
    List<Element> eleList = d1.select("#casLoginForm");  // 第三處需要修改的地方：獲取提交form表單，可以通過檢視頁面原始碼程式碼得知

    // 獲取cooking和表單屬性
    // lets make data map containing all the parameters and its values found in the form
    Map<String, String> datas = new HashMap<>();
    for (Element e : eleList.get(0).getAllElements()) {
        // 第四處需要修改的內容：注意問題2：設定使用者名稱 注意equals（這個username和password也是要去自己的登入介面input裡找name值）
        if (e.attr("name").equals("username")) {
            e.attr("value", userName);
        }
        // 設定使用者密碼
        if (e.attr("name").equals("password")) {
            e.attr("value", pwd);
        }
        // 排除空值表單屬性
        if (e.attr("name").length() > 0) {
            datas.put(e.attr("name"), e.attr("value"));
        }
    }

    /*
     * 第二次請求，以post方式提交表單資料以及cookie資訊
     */
    Connection con2 = Jsoup.connect("http://authserver.tjut.edu.cn/authserver/login");
    con2.header(USER_AGENT, USER_AGENT_VALUE);
    // 設定cookie和post上面的map資料
    Response login = con2.ignoreContentType(true).followRedirects(true).method(Method.POST)
                            .data(datas).cookies(rs.cookies()).execute();
//    報錯Exception in thread "main" org.jsoup.HttpStatusException: HTTP error fetching URL. Status=500, 
//  報錯原因：見上邊注意問題2
    // 列印，登陸成功後的資訊
    System.out.println(login.body());

    // 登陸成功後的cookie資訊，可以儲存到本地，以後登陸時，只需一次登陸即可
    Map<String, String> map = login.cookies();
    for (String s : map.keySet()) {
        System.out.println(s + " : " + map.get(s));
    }  
}
}

3.基於本程式碼二次開發時注意需要修改的內容(看程式碼中的註釋)

後期開發

在模擬登陸後，使用儲存的cookies去精準抓取需要登陸才能訪問的頁面中需要的資訊。（參照下一篇文章）

java爬蟲（四）利用Jsoup獲取需要登陸的網站中的內容（無驗證碼的登入）