Python爬蟲之urllib基礎用法教程
綜述
本系列文件用於對Python爬蟲技術進行簡單的教程講解，鞏固自己技術知識的同時，萬一一不小心又正好對你有用那就更好了。
Python 版本是3.7.4
urllib庫介紹
它是 Python 內建的HTTP請求庫，也就是說我們不需要額外安裝即可使用，它包含四個模組(主要對前三個模組進行學習)：
- request : 它是最基本的 HTTP 請求模組，我們可以用它來模擬傳送一請求，就像在瀏覽器裡輸入網址然後敲擊回車一樣，只需要給庫方法傳入 URL 還有額外的引數，就可以模擬實現這個過程了。
- error : 異常處理模組，如果出現請求錯誤，我們可以捕獲這些異常，然後進行重試或其他操作保證程式不會意外終止。
- parse : 用於解析URL，提供了許多URL處理方法，比如拆分、解析、合併等等的方法，以及對引數的拼接等待。
- robotparser : 主要是用來識別網站的robots.txt協議檔案，然後判斷網站的那些資料可以爬，哪些資料不可以爬的，其實用的比較少。
urllib.request 介紹
urlopen()
1.引數說明(僅寫了四個最常用的引數)
url : 爬取目標的URL；
data : 請求引數，如果設定該引數，則請求預設為post請求；沒有預設為get請求；
timeout : 用於設定超時時間，單位為秒；
context : 必須是一個ssl.SSLContext型別,用來指定SSL設定,忽略未認證的CA證書;
2.具體用法
GET 請求方式
# 匯入urllib庫
import urllib.request
# 向指定的url傳送請求，並返回伺服器響應的類檔案物件
url = "http://www.baidu.com"
response = urllib.request.urlopen(url=url)
print(type(response))
# 類檔案物件支援檔案物件的操作方法，如read()方法讀取檔案全部內容，返回字串
html = response.read()
# html = response.readline() # 讀取一行
# html = response.readlines() # 讀取多行，返回列表
# 列印響應結果（byte型別）
print(html)
# 列印響應結果（utf-8型別）
# 二進位制和字串之間的相互轉碼使用 encode() 和 decode() 函式
# encode() 和 decode() 可帶引數，不寫預設utf-8，其他不再特別說明
print(html.decode())
# 列印狀態碼
# print(response.get_code())
print(response.status)
# 獲取響應頭
print(response.getheaders())
# 獲取響應頭Server資訊
print(response.getheader('Server'))
# 獲取響應結果原因
print(response.reason)POST 請求方式
# 匯入urllib庫
import urllib.parse
import urllib.request
# 向指定的url傳送請求，並返回
post_url = 'https://fanyi.baidu.com/sug'
# 傳入引數
form_data = {
'kw': 'honey'
}
# 格式化引數
form_data = urllib.parse.urlencode(form_data).encode()
response = urllib.request.urlopen(url=post_url,data=form_data)
# 列印伺服器響應的類檔案物件
print(type(response))
# 類檔案物件支援檔案物件的操作方法，如read()方法讀取檔案全部內容，返回字串
html = response.read()
# 列印響應結果（byte型別）
print(html)
# 列印響應結果（utf-8型別）
print(html.decode())
# 列印狀態碼
print(response.status)
# print(response.getcode())
# 獲取響應頭
print(response.getheaders())
# 獲取響應頭Server資訊
print(response.getheader('Server'))
# 獲取響應結果原因
print(response.reason)
urlretrleve()
1.引數說明
url : 下載連結地址；
filename : 指定儲存本地路徑(如果引數未指定，urllib會生成一個臨時檔案儲存資料)；
reporthook : 是一個回撥函式，當連線上伺服器、以及相應的資料塊傳輸完畢時會觸發該回調，我們可以利用這個回撥函式來顯示當前的下載進度；
data : 指post導伺服器的資料，該方法返回一個包含兩個元素的(filename,headers) 元組，filename 表示儲存到本地的路徑，header表示伺服器的響應頭;
2.具體用法
# 引入所需要的庫
import os
import urllib.request
# 定義回撥函式
def call_back(a,b,c):
"""
圖片下載回撥
:param a: 已經下載的資料塊
:param b: 資料塊的大小
:param c: 遠端檔案的大小
:return:
"""
per = 100.0 * a * b / c
if per > 100:
per = 100
print('%.2f%%' % per)
# 定義下下載的地址
url = 'http://www.baidu.com'
# 構造檔案儲存路徑
path = os.path.abspath('.')
file_path = os.path.join(path,'baidu.html')
# 進行下載
urllib.request.urlretrieve(url,file_path,call_back)
urllib.parse 介紹
urlencode()
1.引數說明
query : url引數，可以是字串，也可以是字典；
encoding : 編碼方式；
2.具體用法
# 引入所需要的庫
import urllib.parse
# 引數資料
data = {
'name': '張三','age': 26
}
# 進行編碼
ret = urllib.parse.urlencode(data)
print(ret)
parse_s()
1.引數說明
qs : url引數，編碼後的字串；
encoding : 字元方式；
2.具體用法
# 引入所需要的庫
import urllib.parse
# 引數資料
data = {
'name': '張三','age': 26
}
# 進行編碼
ret1 = urllib.parse.urlencode(data)
print(ret1)
# 進行解碼
ret2 = urllib.parse.parse_qs(ret1)
print(ret2)
urlparse()
1.引數說明
url : url地址字串；
2.具體用法
# 引入所需要的庫
import urllib.parse
# 宣告url
url = "https://www.baidu.com/s?wd=urlparse&rsv_spt=1&rsv_iqid=0x921f00fe005646ef&issp=1&f=8"
# 進行url解析
ret = urllib.parse.urlparse(url)
print(ret)
print('scheme:',ret.scheme) # 協議
print('netloc:',ret.netloc) # 域名伺服器
print('path:',ret.path) # 相對路徑
print('params:',ret.params) # 路徑端引數
print('fragment:',ret.fragment) # 片段
print('query:',ret.query) # 查詢
# urlunparse() 與 urlparse() 對應相反函式
# 使用urlparse的格式組合成一個url，可以直接將urlparse的返回傳遞組合
ret1 = urllib.parse.urlunparse(ret)
print(ret1)
urlsplit()
1.引數說明
url : url地址字串；
2.具體用法
# 引入所需要的庫
import urllib.parse
# 宣告url
url = "https://www.baidu.com/s?wd=urlparse&rsv_spt=1&rsv_iqid=0x921f00fe005646ef&issp=1&f=8"
# 進行url解析
ret = urllib.parse.urlsplit(url)
print(ret)
print('scheme:',ret.path) # 相對路徑
print('fragment:',ret.query) # 查詢
# urlunsplit() 與 urlsplit() 對應相反函式
# 使用urlsplit的格式組合成一個url，可以直接將urlsplit的返回傳遞組合
ret1 = urllib.parse.urlunsplit(ret)
print(ret1)
# 此函式和urlparse函式的區別在於此函式沒有params
urljoin()
1.引數說明
qs : url引數，編碼後的字串；
encoding : 字元方式；
2.具體用法
# 引入所需要的庫
import urllib.parse
# 宣告url
url = "https://www.baidu.com/"
# 引數資料
data = {
'name': '張三','age': 26
}
# 格式化引數
data = urllib.parse.urlencode(data)
# 進行url拼接
ret = urllib.parse.urljoin(url,data)
print(ret)
urllib.error 介紹
我們在爬蟲的時候發請求的時候難免出現錯誤，如訪問不到伺服器或者訪問被禁止等等，error分為URLError和HTTPError兩類：
1.URLError
沒有網
伺服器連結失敗
找不大指定伺服器
2.HTTPError
是URLError的子類
3.兩者區別和聯絡
1）.URLError封裝的錯誤資訊一般是由網路引起的，包括url錯誤
2）.HTTPError封裝的錯誤資訊一般是伺服器返回了錯誤狀態碼
3）.URLError是OSERROR的子類，HTTPError是URLError的子類
4）.【注意】兩個同時捕獲的時候需要將子類放在上面，父類放在下面
用法
# 引入所需要的庫 import urllib.error import urllib.request # 一個訪問異常的url url = 'https://www.mz.com/156427/100' # 捕獲異常 try: ret = urllib.request.urlopen(url) print(ret) except urllib.error.HTTPError as e: print(e.getcode()) except urllib.error.URLError as e: print(e)
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支援我們。