Python3網絡爬蟲(三):urllib.error異常
原作者及原文鏈接: https://blog.csdn.net/c406495762/article/details/59488464
運行平臺:Windows
Python版本:Python3.x
IDE:Sublime text3
一.urllib.error
urllib.error可以接收有urllib.request產生的異常。urllib.error有兩個方法,URLError和HTTPError。如下圖所示:
URLError是OSError的一個子類,HTTPError是URLError的一個子類,服務器上HTTP的響應會返回一個狀態碼,根據這個HTTP狀態碼,我們可以知道我們的訪問是否成功。例如第二個筆記中提到的200狀態碼,表示請求成功,再比如常見的404錯誤等。
1.URLError
讓我們先看下URLError的異常,創建文件urllib_test06.py,編寫如下代碼:
# -*- coding: UTF-8 -*- from urllib import request from urllib import error if __name__ == "__main__": #一個不存在的連接 url = "http://www.iloveyou.com/" req = request.Request(url) try: response = request.urlopen(req) html = response.read().decode(‘utf-8‘) print(html) except error.URLError as e: print(e.reason)
我們可以看到如下運行結果:
2.HTTPError
再看下HTTPError異常,創建文件urllib_test07.py,編寫如下代碼:
# -*- coding: UTF-8 -*- from urllib import request from urllib import error if __name__ == "__main__": #一個不存在的連接 url = "http://www.douyu.com/Jack_Cui.html" req = request.Request(url) try: responese = request.urlopen(req) # html = responese.read() except error.HTTPError as e: print(e.code)
運行之後,我們可以看到404,這說明請求的資源沒有在服務器上找到,www.douyu.com這個服務器是存在的,但是我們要查找的Jack_Cui.html資源是沒有的,所以拋出404異常。
二.URLError和HTTPError混合使用
最後值得註意的一點是,如果想用HTTPError和URLError一起捕獲異常,那麽需要將HTTPError放在URLError的前面,因為HTTPError是URLError的一個子類。如果URLError放在前面,出現HTTP異常會先響應URLError,這樣HTTPError就捕獲不到錯誤信息了。
如果不用上面的方法,也可以使用hasattr函數判斷URLError含有的屬性,如果含有reason屬性表明是URLError,如果含有code屬性表明是HTTPError。創建文件urllib_test08.py,編寫代碼如下:
# -*- coding: UTF-8 -*-
from urllib import request
from urllib import error
if __name__ == "__main__":
#一個不存在的連接
url = "http://www.douyu.com/Jack_Cui.html"
req = request.Request(url)
try:
responese = request.urlopen(req)
except error.URLError as e:
if hasattr(e, ‘code‘)
print("HTTPError")
print(e.code)
elif hasattr(e, ‘reason‘)
print("URLError")
print(e.reason)
運行結果如下:
相關文章和視頻推薦
圓方圓學院匯集 Python + AI 名師,打造精品的 Python + AI 技術課程。 在各大平臺都長期有優質免費公開課,歡迎報名收看。
公開課地址:
Python3網絡爬蟲(三):urllib.error異常