python3將python2的urllib和urllib2庫整合為一個urllib庫，由於近期用到了這個庫就參考官方文件和網上的資料總結了一下

匯入

import urllib

urllib.request

urllib.request.urlopen()

發起一個請求

response = urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) 
# url 要開啟的網址，可以是字串或者是request物件
 

# data 要傳送給伺服器的資料（POST方法）
# timeout 網站的訪問超時時間，單位為s
# cafile和capath 用於HTTPS請求中，設定CA證書及其路徑

返回物件提供的方法

• read() , readline() ,readlines() , fileno() , close() ：對HTTPResponse型別資料進行操作

• info()：返回HTTPMessage物件，表示遠端伺服器返回的頭資訊

• getcode()：返回Http狀態碼。如果是http請求，200請求成功完成;404網址未找到

• geturl()：返回請求的url

返回物件的屬性
對於HTTP 和 HTTPS請求

• status 返回狀態碼
• reason 返回狀態的詳細資訊

urllib.request.Request()

使用該方法來返回一個request物件

request = urllib.request.Request(url, data=None, headers={}, origin_req_host=None, unverifiable=False, method=None)
# url 包含網址的字串
# data 要傳送給伺服器的資料物件，對於POST請求，要通過urllib.parse.urlencode() 方法進行編碼
# header 頭部資訊，必須為字典型別
 

# method 請求方法，如果data為None則為GET，否則為POST

頭部資訊示例

headers = {
     'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) '
                   r'Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3',
     'Referer': r'http://www.lagou.com/zhaopin/Python/?labelWords=label',
     'Connection': 'keep-alive'
  }

• User-Agent ：這個頭部可以攜帶如下幾條資訊：瀏覽器名和版本號、作業系統名和版本號、預設語言

• Referer：可以用來防止盜鏈，有一些網站圖片顯示來源http://*.com，就是檢查Referer來鑑定的

• Connection：表示連線狀態，記錄Session的狀態。

也可以通過返回的request物件的 add_header(key, val) 方法來新增header資訊

request.add_header('Origin', 'https://passport.weibo.cn')
request.add_header('User-Agent', 'Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25')
request.add_header('Referer', 'https://passport.weibo.cn/signin/login?entry=mweibo&res=wel&wm=3349&r=http%3A%2F%2Fm.weibo.cn%2F')

urllib.request.ProxyHandler()

使用同一個IP去爬取同一個網站上的網頁，久了之後會被該網站伺服器遮蔽。使用代理伺服器。 （使用代理伺服器去爬取某個網站的內容的時候，在對方的網站上，顯示的不是我們真實的IP地址，而是代理伺服器的IP地址）

urllib.request.ProxyHandler(proxies=None)

data = {
        'name': 'zjw',
        'age': 23,
        'gender': 'male'
    }
proxy = request.ProxyHandler({'http': '5.22.195.215:80'})  # 設定proxy
opener = request.build_opener(proxy)  # 掛載opener
request.install_opener(opener)  # 安裝opener
data = parse.urlencode(data).encode('utf-8')
page = opener.open(url, data).read()
page = page.decode('utf-8')
return page

urllib.request.urlretrieve()

將遠端資料下載到本地，例如下載圖片

urllib.request.urlretrieve(url, filename=None, reporthook=None, data=None)
#返回由檔名及頭部資訊組成的元組(filename, headers)
#url 遠端資料的地址
#filename 儲存檔案的路徑，如果為空，則下載為臨時檔案
#reporthook 鉤子函式 連線伺服器成功以及每個資料塊下載完成時各呼叫一次，包含3個引數，依次為已經下載的資料塊，資料塊的大小，總檔案的大小，可用於顯示下載進度
#data post到伺服器的資料   

urllib.parse

urllib.parse.urlencode()

將包含字串或位元組內容的對映物件或二維元組序列轉換為ASCII文字字元

urllib.parse.urlencode(query, doseq=False, safe='', encoding=None, errors=None, quote_via=quote_plus)

其轉換結果用於POST操作時，還需將其編碼為位元組

data = {
    'name': 'zjw',
    'age': 23,
    'gender': 'male'
}
data = urllib.parse.urlencode(data).encode('utf-8')
#經編碼後結果為 b'name=zjw&age=23&gender=male'
#返回結果需解碼
response = request.urlopen(url, data=data).read().decode('utf-8')

urllib.parse.parse_qs()

將返回的query字串轉換為字典

urllib.parse.parse_qs(qs, keep_blank_values=False, strict_parsing=False, encoding='utf-8', errors='replace')
# 例如 {b'name':[b'zjw'],b'age':[b'23'],b'gender':[b'male']}

urllib.parse.parse_qsl()

將返回的query字串轉換為包含二維元組的列表

urllib.parse.parse_qsl(qs, keep_blank_values=False, strict_parsing=False, encoding='utf-8', errors='replace')
# 例如 [(b'name',b'zjw'),(b'age',b'23'),(b'gender',b'male')]

urllib.error

錯誤：

• urllib.error.URLError

• urllib.error.HTTPError

• urllib.error.ContentTooShortError
  當urlretrieve（）方法下載資料的大小小於實際期望值時觸發該錯誤

處理：

from urllib.request import Request, urlopen
from urllib.error import URLError, HTTPError

req = Request('http://www.python.org/')
try:
　　response = urlopen(req)
except HTTPError as e:
　　print('The (www.python.org)server could not fulfill the request.')
　　print('Error code: ', e.code)
except URLError as e:
　　print('We failed to reach a server.')
　　print('Reason: ', e.reason)
else:
　　print("good!")
　　print(response.read().decode("utf8"))