urllib的四個模組

• request:基本的Http請求模組
• error:異常模組
• parse:工具模組，url處理方法
• robotparser:識別網上的robots.tst檔案，判斷網站是否可爬

傳送請求

• urlopen()
  先使用urlopen()進行最基本的頁面抓取
  import urllib.request
  response=urllib.request.urlopen(‘https://www.python.org’)
  print(response.read().decode(‘utf-8’))
  
  這樣就獲得了python官網的html程式碼
  再用type(response)返回response的型別
  返回結果：<class ‘http.client.HTTPResponse’>
  可以看到返回了一個HTTPResponse型別的物件 其中包含了read(),readinto(),gethender(“””)獲取響應頭資訊中的子資訊,getheaders()響應頭資訊,fileno()等方法及msg,version,status獲取響應狀態碼,reason,debuglevel,closed各種屬性
  urlopen()還有幾個引數
  1).data引數為可選引數，需要bytes()方法轉化，並且請求方式變成post

#urlopen()中data引數練習
data=bytes(urllib.parse.urlencode({'word':'hello'}),encoding='utf-8')
response=urllib.request.urlopen('http://httpbin.org/post',data=data)
print(response.read())

這樣我們傳遞的引數會出現在form欄位中 模擬了表單提交方式，以post方式傳輸資料

2）timeout引數

#urlopen()中timeout引數說明  超過請求指定時間報異常
try:
    response=urllib.request.urlopen('http://httpbin.org/get',timeout=0.1)
except urllib.error.URLError as e:
    if isinstance(e.reason,socket.timeout):
        print("time out")
 

執行結果：

下一個筆記介紹 比urlopen()更強大的request()