1. 程式人生 > >爬蟲面試題總結

爬蟲面試題總結

反爬有哪些?
1、識別使用者身份:
user_agent、 cookies、 referer、 驗

證碼
2、識別使用者行為:
併發量(IP和cookies)、
線上時間、
只請求html或ajax等部分型別資料、
蜜罐(設定一些正常使用者不會點選的連結,但爬蟲能爬到,一旦訪問,IP暴露)、
通過機器學習分析是否想爬蟲
3、動態資料載入:
ajax
js