用python寫爬蟲整的很方便，弄了個模擬登陸，登陸後帶上token和cooke請求頁面

就拿gitlab練下手了，這個還是有一丟丟麻煩的

一、登陸介面

獲取隱藏域中的token，構建表單的時候需要

獲取到這個_gitlab_session，登陸校驗時需要帶著這個資訊

準備好token和cookie，當然還需要一個能登陸使用者名稱和密碼

二、登陸驗證

登陸驗證就是構建表單，不知為何還要傳一個utf-8引數

按說應該可以登陸進去的，但是....登陸進去後頁面會重定向到一個介面。接著呢，只好看fiddle裡抓包的資訊

之前一直以為沒有登陸成功，其實已經登陸成功，但是請求需要登陸頁面，還是會跳轉到登陸介面。。

原來登陸成功後會獲取一個新的session，然後需要調整 Headers裡面的資訊

再用這個headers去請求需要登陸的頁面，發現都可以了

程式碼如下，寫得很隨意：

"""
    http://code.t-appagile.com/users/sign_in

    http://code.t-appagile.com/users/sign_in
"""
import requests
import json
import string
from bs4 import BeautifulSoup
login = "http://code.t-appagile.com/users/sign_in"
call = "http://code.t-appagile.com/users/auth/ldapmain/callback"

headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Accept-Encoding': 'gzip, deflate',
    'Accept-Language': 'en-US,en;q=0.9,zh-CN;q=0.8,zh;q=0.7',
    'Cache-Control': 'no-cache',
    # 'Content-Length':'183',

    'Content-Type': 'application/x-www-form-urlencoded',
    'Cookie': '',
    'Host': 'code.t-appagile.com',
    'Origin': 'http://code.t-appagile.com',
    'Proxy-Connection': 'keep-alive',

    'Referer': 'http://code.t-appagile.com/users/sign_in',
    'Upgrade-Insecure-Requests': '1',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36',
}


def HttpPost(apiUrl, data):
    try:
        global headers
        r = requests.post(apiUrl,headers=headers, data=data)
        
        cook = r.request.headers["Cookie"].split('=')
        lowCook = headers["Cookie"].split('=')

        newCook=lowCook[0]+'='+lowCook[1]+'='+cook[2]
        headers["Cookie"] = newCook
        print("登陸成功：",newCook)
        return r
    except:
        return

def HttpGet(apiUrl):
    try:
        global headers
        r = requests.get(apiUrl)
        cook = ""
        for c in r.cookies:
            cook += c.name + "="+c.value + ";"

        headers["Cookie"] = cook
        print("登陸前的：",cook)
        
        return r.text
    except:
        return

def HttpGetLcmm(apiUrl):
    try:
        r = requests.get(apiUrl,headers=headers)
        return r.text
    except:
        return


res = HttpGet(login)
html = BeautifulSoup(res,"html.parser")

token = html.find_all(type="hidden")[1]["value"]

postData ={}
postData["utf8"] ="✓"
postData["authenticity_token"] =token
postData["username"] ="你的賬號"
postData["password"] ="你的密碼"


res = HttpPost(call,postData)

# print(res.status_code)
# print(res.text)
# print(html)

res = HttpGetLcmm("http://code.t-appagile.com/SI.Web/lcmm-web")
print('ok!')
 

發現，寫模擬登陸需要很耐心，對比真實的http請求headers裡面的資訊，再去構建模擬請求的

有時間再弄個有驗證碼的，應該也簡單，畢竟都有驗證碼識別的Api了