自從暑假學了大概一個月左右的爬蟲，開學之後就沒怎麼搞爬蟲了，當時也就學到scrapy框架就放下了，大致瞭解了一下框架，不是太理解，但是在這之前本人的爬蟲水平也僅僅侷限於爬取簡單頁面，爬取動態頁面也稍微瞭解下，但是一直沒有學模擬登陸，因為當時怎麼也搞不懂模擬登陸是怎麼個回事，包括儲存頁面cookies也不知道，
最近有重新拾起爬蟲，準備將爬蟲再進階一下，於是找到了網上一些視訊看到有個用beautifulSoup實現模擬登入知乎，感覺挺容易上手的。下面，貼程式碼

import requests
from bs4 import BeautifulSoup

url = "https://www.zhihu.com/#signin"
 


#請求報頭
def zhihuLogin(url):
    headers = {
        "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36"
    }

    # 構建一個session物件，用來儲存頁面cookies
    sion = requests.Session()

    #首先獲取登入介面，找到需要post的資料（_xsrf）同時記錄當前頁面的cookies值
 

    html = sion.get(url,headers = headers).text

    #通過bs庫將頁面解析方便下面獲取需要post 的值
    bs = BeautifulSoup(html,"lxml")
    #找到name屬性值為_xsrf的input標籤，並獲取其相應的value值
    xsrf = bs.find("input",attrs{"name":"_xsrf"}).get("value")

# 根據UNIX時間戳，匹配出驗證碼的URL地址
    captcha_url = "https://www.zhihu.com/captcha.gif?r=%d&type=login"
 
 % (time.time() * 1000)
    # 傳送圖片的請求，獲取圖片資料流，
    captcha_data = sess.get(captcha_url, headers = headers).content
    # 獲取驗證碼裡的文字，需要手動輸入
    text = captcha(captcha_data)


    data = {
            "_xsrf":xsrf,
            "password":"*******",#由於個人隱私關係，這邊就不把摩瑪貼出來了
            "captcha_type":"cn",#如果頁面有驗證碼的話就將表單裡面的這個新增text
            "email":"[email protected]"
    }
    response = requests.post("http://www.zhihu.com/login/email",data = data,headers = headers)
    #用已有的登入狀態cookies傳送請求，獲取目標頁面原始碼
    response2 = sion.get("http://www.zhihu.com/people/lou-kun-20/activities",headers = headers)
    # 返回獲取到的目標頁面原始碼
    bs2 = BeautifulSoup(response2.text,"lxml")
    print(bs2)
    #return response2.text

zhihuLogin(url)

#此模組用於獲取登入時出現的驗證碼，由於目前還不會機器學習影象識別，所以只能將驗證碼下載到本地，手動輸入驗證碼實現登入，
def captcha(captcha_data):
    with open("captcha.jpg", "wb") as f:
        f.write(captcha_data)
    text = input("請輸入驗證碼：")
    # 返回使用者輸入的驗證碼
    return text

不知道怎麼回事，看著視訊上老師講的例項模擬的登入知乎是需要驗證碼的，但是在我機子上是怎麼都出不來驗證碼，於是就將驗證碼識別這個模組省略了,在這個模擬登入知乎的學習過程中，我瞭解到了某些資訊加密，因為知乎怎麼說也是個比較正式的商業網站，所以，使用者登入，為了防止跨域攻擊，所以網站會通過設定一個隱藏欄位來存放這個MD5字串，這個字串用來校驗使用者Cookie和伺服器Session的一種方式
這裡面科普一下：
_xsrf 作用是防止CSRF攻擊（跨站請求偽造)，通常叫跨域攻擊，是一種利用網站對使用者的一種信任機制來做壞事，跨域攻擊通常通過偽裝成網站信任的使用者的請求(利用Cookie)，盜取使用者資訊、欺騙web伺服器
其實模擬登入基本流程也就這樣，首先我們先要找到使用者點選登入所傳送的表單，然後將表單的內容都新增進去，然後，post進去資料，返回帶有cookies的session物件，最後用已有登入狀態的Cookie傳送請求，獲取目標頁面原始碼。就這麼簡單！當然，登入沒有驗證碼的網站現在是很少見了，我們實現模擬登陸的時候，這個驗證碼問題還是要看中的，還有不同的網站有不同的使用者資訊加密方式，但總歸都逃不了我們要將登入時的表單post進伺服器，只是可能有些網站的解密比較複雜。爬蟲的學問很多，還要selenium這些還沒學，以後慢慢來吧。