技術標籤：爬蟲基礎學習記錄pythonhttp

#可用的方法有urllib2/lrllib(python內建模組)和Requests庫（第三方庫）
#這裡我主要以requests進行學習
import requests
import chardet

user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36'
headers = {'User-Agent':user_agent}#這裡在構造請求頭,偽裝自己
r = requests.get('http://www.baidu.com',headers=headers)

print(chardet.detect(r.content))#打印出 r 的編碼格式
r.encoding=chardet.detect(r.content )['encoding']
print(r.content)
# print(r.text)
if r.status_code==requests.codes.ok:
    print(r.status_code)#列印狀態碼
    print(r.headers)
    print(r.headers.get('content_type'))
else:
    r.raise_for_status()

print('\n')
print('--------------這是分界線-------------')
#遍歷出所有的cookie欄位的值
for cookie in r.cookies.keys():
    print(cookie+':'+r.cookies.get(cookie))
 

這是語句print（chardet.detect(r.content)）的效果