2. 程式人生 > 實用技巧 >python:urllib和urllib3的區別

python:urllib和urllib3的區別

阿新 • • 發佈：2020-11-23

　　轉載自文章：https://www.cnblogs.com/jun-1024/p/10546826.html

  • urllib庫

urllib 是一個用來處理網路請求的python標準庫，它包含4個模組。

urllib.request---請求模組，用於發起網路請求

urllib.parse---解析模組，用於解析URL

urllib.error---異常處理模組，用於處理request引起的異常

urllib.robotparser robots.tx---用於解析robots.txt檔案

urllib.request模組

request模組主要負責構造和發起網路請求，並在其中新增Headers，Proxy等。 利用它可以模擬瀏覽器的請求發起過程。

  1. 發起網路請求
  2. 操作cookie
  3. 新增Headers
  4. 使用代理

關於urllib.request.urlopen引數的介紹

urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)

urlopen是一個簡單傳送網路請求的方法。它接收一個字串格式的url，它會向傳入的url傳送網路請求，然後返回結果。

先寫一個簡單的例子:

from urllib import request
response = request.urlopen(url='http://www.httpbin.org/get')
print(response.read().decode())

urlopen預設會發送get請求，當傳入data引數時，則會發起POST請求。data引數是位元組型別、者類檔案物件或可迭代物件。

from urllib import request
response = request.urlopen(url='http://www.httpbin.org/post',
                           data=b'username=q123&password=123')
print(response.read().decode())

還才可以設定超時，如果請求超過設定時間，則丟擲異常。timeout沒有指定則用系統預設設定，timeout只對，http，https以及ftp連線起作用。它以秒為單位，比如可以設定timeout=0.1 超時時間為0.1秒。

from urllib import request
response = request.urlopen(url='https://www.baidu.com/',timeout=0.1)

Request物件

利用openurl可以發起最基本的請求，但這幾個簡單的引數不足以構建一個完整的請求，可以利用更強大的Request物件來構建更加完整的請求。

1 . 請求頭新增

通過urllib傳送的請求會有一個預設的Headers: “User-Agent”:“Python-urllib/3.6”，指明請求是由urllib傳送的。所以遇到一些驗證User-Agent的網站時，需要我們自定義Headers把自己偽裝起來。

from urllib import request
headers ={
    'Referer': 'https://www.baidu.com/s?ie=utf-8&f=3&rsv_bp=1&tn=baidu&wd=python%20urllib%E5%BA%93&oq=python%2520urllib%25E5%25BA%2593&rsv_pq=947af0af001c94d0&rsv_t=66135egC273yN5Uj589q%2FvA844PvH9087sbPe9ZJsjA8JA10Z2b3%2BtWMpwo&rqlang=cn&rsv_enter=0&prefixsug=python%2520urllib%25E5%25BA%2593&rsp=0',
     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
}
response = request.Request(url='https://www.baidu.com/',headers=headers)
response = request.urlopen(response)
print(response.read().decode())

2. 操作cookie

在開發爬蟲過程中，對cookie的處理非常重要，urllib的cookie的處理如下案例

from urllib import request
from http import cookiejar
# 建立一個cookie物件
cookie = cookiejar.CookieJar()

# 創一個cookie處理器
cookies = request.HTTPCookieProcessor(cookie)

# 以它為引數，建立opener物件
opener = request.build_opener(cookies)
# 使用這個opener 來發請求
res =opener.open('https://www.baidu.com/')

print(cookies.cookiejar)

3. 設定代理

執行爬蟲的時候，經常會出現被封IP的情況，這時我們就需要使用ip代理來處理，urllib的IP代理的設定如下：

from urllib import request
url ='http://httpbin.org/ip'

#代理地址
proxy ={'http':'172.0.0.1:3128'}

# 代理處理器
proxies =request.ProxyBasicAuthHandler(proxy)

# 建立opener物件
opener = request.build_opener(proxies)

res =opener.open(url)
print(res.read().decode())

urlib庫中的類或或者方法，在傳送網路請求後，都會返回一個urllib.response的物件。它包含了請求回來的資料結果。它包含了一些屬性和方法，供我們處理返回的結果

read() 獲取響應返回的資料，只能用一次

readline() 讀取一行

info() 獲取響應頭資訊

geturl() 獲取訪問的url

getcode() 返回狀態碼

urllib.parse模組

parse.urlencode() 在傳送請求的時候，往往會需要傳遞很多的引數，如果用字串方法去拼接會比較麻煩，parse.urlencode()方法就是用來拼接url引數的。

from urllib import parse
params = {'wd':'測試', 'code':1, 'height':188}
res = parse.urlencode(params)
print(res)

列印結果為wd=%E6%B5%8B%E8%AF%95&code=1&height=188

也可以通過parse.parse_qs()方法將它轉回字典

print(parse.parse_qs('wd=%E6%B5%8B%E8%AF%95&code=1&height=188'))

urllib.error模組

error模組主要負責處理異常，如果請求出現錯誤，我們可以用error模組進行處理 主要包含URLError和HTTPError

URLError：是error異常模組的基類，由request模組產生的異常都可以用這個類來處理

HTTPError：是URLError的子類，主要包含三個屬性

  1. Code:請求的狀態碼
  2. reason：錯誤的原因
  3. headers：響應的報頭
from urllib import request,error
try:
    response = request.urlopen("http://pythonsite.com/1111.html")
except error.HTTPError as e:
    print(e.reason)
    print(e.code)
    print(e.headers)
except error.URLError as e:
    print(e.reason)

else:
    print("reqeust successfully")

urllib.robotparse模組

robotparse模組主要負責處理爬蟲協議檔案，robots.txt.的解析。 https://www.taobao.com/robots.txt

Robots協議（也稱為爬蟲協議、機器人協議等）的全稱是“網路爬蟲排除標準”（Robots Exclusion Protocol），網站通過Robots協議告訴搜尋引擎哪些頁面可以抓取，哪些頁面不能抓取

  • urllib庫

  • urllib3 是一個基於python3的功能強大，友好的http客戶端。越來越多的python應用開始採用urllib3.它提供了很多python標準庫裡沒有的重要功能

安裝：

pip install urllib3

構造請求（request）

import urllib3
# 建立連線
http = urllib3.PoolManager()
# 傳送請求
res = http.request('GET','https://www.baidu.com/')
# 狀態碼
print(res.status)
# 返回的資料
print(res.data.decode())

傳送post請求

import urllib3
# 建立連線
http = urllib3.PoolManager()
# 傳送請求
res = http.request('POST','https://www.baidu.com/',fields={'hello':'word'})
# 狀態碼
print(res.status)
# 返回的資料
print(res.data.decode())

http響應物件提供status, data,和header等屬性

status--狀態碼

data--讀取返回的資料

header--請求頭

返回的json格式資料可以通過json模組，load為字典資料型別。

import json
data={'attribute':'value'}
encode_data= json.dumps(data).encode()

r = http.request('POST',
                     'http://httpbin.org/post',
                     body=encode_data,
                     headers={'Content-Type':'application/json'}
                 )
print(r.data.decode('unicode_escape'))

響應返回的資料都是位元組型別，對於大量的資料我們通過stream來處理更好

import urllib3
http = urllib3.PoolManager()
r =http.request('GET','http://httpbin.org/bytes/1024',preload_content=False)
for chunk in r.stream(32):
    print(chunk)

也可以當做一個檔案物件來處理

import urllib3
http = urllib3.PoolManager()
r =http.request('GET','http://httpbin.org/bytes/1024',preload_content=False)
for chunk in r:
    print(chunk)

urllib3庫Proxies(代理IP)

import urllib3
proxy = urllib3.ProxyManager('http://172.0.0.1:3128')
res =proxy.request('GET','https://www.baidu.com/')
print(res.data)

urllib3庫headers(新增請求頭)

import urllib3
http = urllib3.PoolManager()
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36'
}
res = http.request('GET','https://www.baidu.com/',headers=headers)
print(res.data)

JSON 當我們需要傳送json資料時，我們需要在request中傳入編碼後的二進位制資料型別的body引數，並制定Content-Type的請求頭

JSON:在發起請求時,可以通過定義body 引數並定義headers的Content-Type引數來發送一個已經過編譯的JSON資料：
import json
data={'attribute':'value'}
encode_data= json.dumps(data).encode()

r = http.request('POST',
                     'http://httpbin.org/post',
                     body=encode_data,
                     headers={'Content-Type':'application/json'}
                 )
print(r.data.decode('unicode_escape'))

對於二進位制的資料上傳，我們用指定body的方式，並設定Content-Type的請求頭

#使用multipart/form-data編碼方式上傳檔案,可以使用和傳入Form data資料一樣的方法進行,並將檔案定義為一個元組的形式　　　　　(file_name,file_data):
with open('1.txt','r+',encoding='UTF-8') as f:
    file_read = f.read()

r = http.request('POST',
                 'http://httpbin.org/post',
                 fields={'filefield':('1.txt', file_read, 'text/plain')
                         })
print(r.data.decode('unicode_escape'))

#二進位制檔案
with open('websocket.jpg','rb') as f2:
    binary_read = f2.read()

r = http.request('POST',
                 'http://httpbin.org/post',
                 body=binary_read,
                 headers={'Content-Type': 'image/jpeg'})
#
# print(json.loads(r.data.decode('utf-8'))['data'] )
print(r.data.decode('utf-8'))

相關推薦

python:urllib和urllib3的區別

　　轉載自文章：https://www.cnblogs.com/jun-1024/p/10546826.html urllib庫 urllib 是一個用來處理網路請求的python標準庫，它包含4個模組。

python dumps和loads區別詳解

這篇文章主要介紹了python dumps和loads區別詳解,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

Python %r和%s區別程式碼例項解析

%r用rper()方法處理物件 %s用str()方法處理物件 相同結果 有些情況下，兩者處理的結果是一樣的，比如說處理int型物件。

基於python cut和qcut的用法及區別詳解

我就廢話不多說了，直接上程式碼吧： from pandas import Series,DataFrame import pandas as pd

Python中__repr__和__str__區別詳解

看下面的例子就明白了 class Test(object): def __init__(self,value=\'hello,world!\'): self.data = value

通過例項瞭解Python str()和repr()的區別

這篇文章主要介紹了通過例項瞭解Python str()和repr()的區別,文中通過示例程式碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下

Python檔案讀寫w+和r+區別解析

其實r 是隻讀，只能讀不能寫，這是很明確的，但是r+是可讀寫，變成r+後還沒太明白到底加了什麼，還是照樣寫不了，有沒有這樣的體驗呢,如下程式碼，只讀時

簡單瞭解python列表和元組的區別

列表(list)和元組(tuple)的一些基礎 list和tuple都是一個可以放置任意資料型別的有序集合，都是既可以存放數字、字串、物件等

淺談Python中資料夾和python package包的區別

pycharm右鍵新建時會有目錄(資料夾)和python package兩個選項，這兩個到底有什麼不同呢

python指令碼和網頁有何區別

Python是一種計算機程式設計語言，一種面向物件的動態型別語言，一種指令碼語言。最初被設計用於編寫自動化指令碼(shell)的，常用於各種伺服器的維護和自動化執行。它具有豐富和強大的庫。它常被暱稱為膠水語言，能夠

python encode和decode的區別

字串在Python內部的表示是unicode編碼，因此，在做編碼轉換時，通常需要以unicode作為中間編碼， 即先將其他編碼的字串解碼（decode）成unicode，再從unicode編碼（encode）成另一種編碼。

python中的 str 和bytes 區別

在Python 3版本中，把\'xxx\'和u\'xxx\'統一成Unicode編碼，即寫不寫字首u都是一樣的。

Python 爬蟲--urllib 和 re 模組（第一篇）

本文的文字及圖片來源於網路,僅供學習、交流使用,不具有任何商業用途,版權歸原作者所有,如有問題請及時聯絡我們以作處理

詳解Python中@staticmethod和@classmethod區別及使用示例程式碼

本文主要介紹Python中,class(類)的裝飾器@staticmethod和@classmethod的使用示例程式碼和它們的區別。

python模組re中的findall和finditer區別

findall 在字串中找到正則表示式所匹配的所有子串，並返回一個列表，如果沒有找到匹配的，則返回空列表。

Python中size和shape區別

技術標籤：pythonnumpy機器學習深度學習 在numpy裡面，兩個是不相同的，size: 所有元素的個數和， shape: 陣列型別大小（3，2） ， 但在pytorch裡面，兩個是一樣的,表達的都是陣列型別

記go和python中的slice區別

python中的slice是在原有基礎上拷貝一份。go中的slice則是指向生成它的陣列/切片，切最長長度不會超限。

Python基礎教程：json中load和loads區別

相同點 dump 和 dumps 都實現了序列化 load 和 loads 都實現反序列化 變數從記憶體中變成可儲存或傳輸的過程稱之為序列化

python 中 is和==的區別

一.is和==區別 id() 我們可以使用id()查到一個變量表示的值在記憶體中的地址 print(id(s))# 3212877232496

Python open和with open用法和區別

一、區別使用open開啟檔案，必須要使用close關閉檔案，所以，為了保證無論是否出錯都能正確地關閉檔案。with open可以不用close()方法關閉檔案，無論在檔案使用中遇到什麼問題都能安全的退出，即使發生錯誤，退出執