1. 程式人生 > >Python3網絡爬蟲(三):urllib.error異常

Python3網絡爬蟲(三):urllib.error異常

相關 log rom 函數 png win read .py 文件

原作者及原文鏈接: https://blog.csdn.net/c406495762/article/details/59488464

運行平臺:Windows
Python版本:Python3.x
IDE:Sublime text3

一.urllib.error

urllib.error可以接收有urllib.request產生的異常。urllib.error有兩個方法,URLError和HTTPError。如下圖所示:

技術分享圖片

技術分享圖片

URLError是OSError的一個子類,HTTPError是URLError的一個子類,服務器上HTTP的響應會返回一個狀態碼,根據這個HTTP狀態碼,我們可以知道我們的訪問是否成功。例如第二個筆記中提到的200狀態碼,表示請求成功,再比如常見的404錯誤等。

1.URLError

讓我們先看下URLError的異常,創建文件urllib_test06.py,編寫如下代碼:

# -*- coding: UTF-8 -*-
from urllib import request
from urllib import error

if __name__ == "__main__":
    #一個不存在的連接
    url = "http://www.iloveyou.com/"
    req = request.Request(url)
    try:
        response = request.urlopen(req)
        html = response.read().decode(‘utf-8‘)
        print(html)
    except error.URLError as e:
        print(e.reason)

我們可以看到如下運行結果:

技術分享圖片

2.HTTPError

再看下HTTPError異常,創建文件urllib_test07.py,編寫如下代碼:

# -*- coding: UTF-8 -*-
from urllib import request
from urllib import error

if __name__ == "__main__":
    #一個不存在的連接
    url = "http://www.douyu.com/Jack_Cui.html"
    req = request.Request(url)
    try:
        responese = request.urlopen(req)
        # html = responese.read()
    except error.HTTPError as e:
        print(e.code)

運行之後,我們可以看到404,這說明請求的資源沒有在服務器上找到,www.douyu.com這個服務器是存在的,但是我們要查找的Jack_Cui.html資源是沒有的,所以拋出404異常。

技術分享圖片

二.URLError和HTTPError混合使用

最後值得註意的一點是,如果想用HTTPError和URLError一起捕獲異常,那麽需要將HTTPError放在URLError的前面,因為HTTPError是URLError的一個子類。如果URLError放在前面,出現HTTP異常會先響應URLError,這樣HTTPError就捕獲不到錯誤信息了。

技術分享圖片

如果不用上面的方法,也可以使用hasattr函數判斷URLError含有的屬性,如果含有reason屬性表明是URLError,如果含有code屬性表明是HTTPError。創建文件urllib_test08.py,編寫代碼如下:

# -*- coding: UTF-8 -*-
from urllib import request
from urllib import error

if __name__ == "__main__":
    #一個不存在的連接
    url = "http://www.douyu.com/Jack_Cui.html"
    req = request.Request(url)
    try:
        responese = request.urlopen(req)
    except error.URLError as e:
        if hasattr(e, ‘code‘)
            print("HTTPError")
            print(e.code)
        elif hasattr(e, ‘reason‘)
            print("URLError")
            print(e.reason)

運行結果如下:

技術分享圖片


相關文章和視頻推薦

圓方圓學院匯集 Python + AI 名師,打造精品的 Python + AI 技術課程。 在各大平臺都長期有優質免費公開課,歡迎報名收看。
公開課地址:

Python3網絡爬蟲(三):urllib.error異常