urllib請求物件的定製

UA介紹：User Agent中文名為使用者代理，簡稱 UA，它是一個特殊字串頭，使得伺服器能夠識別客戶使用的作業系統 及版本、CPU 型別、瀏覽器及版本。瀏覽器核心、瀏覽器渲染引擎、瀏覽器語言、瀏覽器外掛等

import urllib.request

url = 'https://www.baidu.com'

# url的組成
# https://www.baidu.com/s?wd=周杰倫

# http/https    www.baidu.com   80/443     s      wd = 周杰倫     #
#    協議             主機        埠號     路徑     引數           錨點
# http   80
# https  443
# mysql  3306
# oracle 1521
# redis  6379
# mongodb 27017

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
}

# 因為urlopen方法中不能儲存字典 所以headers不能傳遞進去
# 請求物件的定製
request = urllib.request.Request(url=url,headers=headers)

response = urllib.request.urlopen(request)

content = response.read().decode('utf8')

print(content)
 

直接讀取網頁，顯示資料不完整，因為我們給的資料不完整。這是一個反爬，User-Agent。

查詢UA：1、可直接百度UA大全 2、直接點選右鍵檢查--》NetWork--》重新整理頁面 --》Header --》最下面 UA