億牛雲爬蟲代理的用戶認證模式
阿新 • • 發佈：2019-03-19
proxy 代理 支持 ttl base 時間 pro 比較 tps 用戶密碼認證?
通過用戶名和密碼的形式進行身份認證，該認證信息最終會轉換為Proxy-Authorization 協議頭跟隨請求一起發出，同時支持通過Authorization協議頭進行隧道身份驗證。 如用戶認證錯誤，系統會返回401 Unauthorized 或 407 Proxy Authentication Required。
通過用戶名和密碼的形式進行身份認證，該認證信息最終會轉換為Proxy-Authorization 協議頭跟隨請求一起發出，同時支持通過Authorization協議頭進行隧道身份驗證。 如用戶認證錯誤，系統會返回401 Unauthorized 或 407 Proxy Authentication Required。
例如
在代碼中使用HTTP隧道時，如果代碼的 HTTP 請求方法不支持以用戶名/密碼的形式設置身份認證信息， 則需要手動為每個 HTTP 請求增加Proxy-Authorization協議頭， 其值為 Basic <base64>。其中 <base64> 為 “用戶名” 和 “密碼” 通過 : 拼接後， 再經由 BASE64 編碼得到的字符串。 正確設置後，發出的請求都將包含如下格式的 HTTP 協議頭信息： Proxy-Authorization: Basic MTZZVU4xMjM6MTIzNDMyMw==
註意
建議使用Proxy-Authorization 進行用戶密碼認證。如果使用Authorization,該HTTP頭信息會隨請求發送到目標網站。 訪問HTTPS網站時，請使用庫自帶的代理認證方式，手動設置的Proxy-Authorization協議頭，在訪問HTTPS網站的情況下，會被代理直接轉發到目標網站，導致匿名失效。
域名解析失敗
爬蟲代理域名ttl時間比較短【多機多地熱備】，如遇到解析爬蟲代理的域名失敗，建議使用 114.114.114.114 或運營商的dns來做DNS解析。
億牛雲爬蟲代理的用戶認證模式