Python爬蟲(四) URLError、HTTPError異常處理
阿新 • • 發佈:2019-01-28
1.URLError
首先解釋下URLError可能產生的原因:
網路無連線,即本機無法上網
連線不到特定的伺服器
伺服器不存在
在程式碼中,我們需要用try-except語句來包圍並捕獲相應的異常。下面是一個例子:
import urllib.request
request = urllib.request.Request(‘https://www.xxx.com‘)
try:
urllib.request.urlopen(request)
print(“success”)
except urllib.request.URLError as e:
print(“error”,e)
我們利用了 urlopen方法訪問了一個不存在的網址,執行結果如下:
error <urlopen error [WinError 10060] 由於連線方在一段時間後沒有正確答覆或連線的主機沒有反應,連線嘗試失敗。>
2.HTTPError
HTTPError是URLError的子類,在你利用urlopen方法發出一個請求時,伺服器上都會對應一個應答物件response,其中它包含一個數字”狀態碼”。舉個例子,假如response是一個”重定向”,需定位到別的地址獲取文件,urllib將對此進行處理。
其他不能處理的,urlopen會產生一個HTTPError,對應相應的狀態嗎,HTTP狀態碼錶示HTTP協議所返回的響應的狀態。下面列出一些常見的狀態碼:
200:請求成功 處理方式:獲得響應的內容,進行處理
302:請求到的資源在一個不同的URL處臨時儲存 處理方式:重定向到臨時的URL
304:請求的資源未更新 處理方式:丟棄 401:未授權 處理方式:丟棄
403:禁止 處理方式:丟棄
404:沒有找到 處理方式:丟棄
500:伺服器內部錯誤 伺服器遇到了一個未曾預料的狀況,導致了它無法完成對請求的處理。一般來說,這個問題都會在伺服器端的原始碼出現錯誤時出現。
501:伺服器無法識別 伺服器不支援當前請求所需要的某個功能。當伺服器無法識別請求的方法,並且無法支援其對任何資源的請求。
502 :錯誤閘道器 作為閘道器或者代理工作的伺服器嘗試執行請求時,從上游伺服器接收到無效的響應。
HTTPError例項產生後會有一個code屬性,這就是是伺服器傳送的相關錯誤號。
因為urllib可以為你處理重定向,也就是3開頭的代號可以被處理,並且100-299範圍的號碼指示成功,所以你只能看到400-599的錯誤號碼。