retrying模塊的學習

我們在寫爬蟲的過程中，經常遇到爬取失敗的情況，這個時候我們一般會通過try塊去進行重試，但是每次都寫那麽一堆try塊，真的是太麻煩，所以今天就來說一個比較pythonic的模塊，retrying.

安裝

retring模塊的安裝很簡單直接用匹配安裝即可。

pip install retrying

使用

retring模塊通過裝飾器的形式來進行重試操作的，首先我們看一個簡單的例子

from retrying import retry
@retry(stop_max_attempt_number=5,wait_random_min=1000,wait_random_max=5000)
def run():
    print("開始重試")
    raise NameError

if __name__ == ‘__main__‘:
    run()
 

上面的代碼幹了哪些事呢，首先導入retring的retry模塊
然後裝飾一個run函數，然後調用run,函數內容很簡單就是通過raise拋出一個異常，執行該代碼我們發現。程序打印了五次開始重試，最後一次拋出異常，NameError。

到這裏我們可以感受到重試了，就是這麽簡單的代碼，就完成了五次重試，同時這五次重試的間隔時間也是不同的。
如果想嘗試10次就把上面的stop_max_attempt_number=5，改成10即可，到這裏就可以解釋retry裝飾器的參數了
stop_max_attempt_number:最大重試次數，超過這個次數會停止重試，並報異常。
wait_random_min：隨機等待最小時間。
wait_random_max:隨機等待最大時間。
好了retry的使用就是這麽簡單，在需要重試的函數上面加個裝飾器就好了。

關鍵是裝飾器裏的參數的使用，下面列舉了retrying的參數。

如果不寫參數將會一直重試.

stop_max_attempt_number：在停止之前嘗試的最大次數，最後一次如果還是有異常則會拋出異常，停止運行，默認為5次

@retry(stop_max_attempt_number=5)
def run():
    print("開始重試")
    raise NameError

if __name__ == ‘__main__‘:
    run()

強調總次數。
stop_max_delay：最大延遲時間，大概意思就是：如果調用的函數出現異常，那麽就會重復調用這個函數，最大調用時間，默認為100毫秒

from retrying import retry


@retry(stop_max_delay=5000)
def run():
    print("開始重試")
    raise NameError
if __name__ == ‘__main__‘:
    run()

會重試5秒鐘，強調總時間。
wait_fixed：兩次調用方法期間停留時長, 如果出現異常則會一直重復調用，默認 1000毫秒

from retrying import retry
@retry(wait_fixed=2000)
def run():
    print("開始重試")
    raise NameError

if __name__ == ‘__main__‘:
    run()

強調間隔時間。
wait_random_min：在兩次調用方法停留時長，停留最短時間，默認為0

wait_random_max：在兩次調用方法停留時長，停留最長時間，默認為1000毫秒

wait_incrementing_increment：每調用一次則會增加的時長，默認 100毫秒

wait_exponential_multiplier和wait_exponential_max：以指數的形式產生兩次retrying之間的停留時間，產生的值為2^previous_attempt_number * wait_exponential_multiplier，previous_attempt_number是前面已經retry的次數，如果產生的這個值超過了wait_exponential_max的大小，那麽之後兩個retrying之間的停留值都為wait_exponential_max

retry_on_exception: 指定一個函數，如果此函數返回指定異常，則會重試，如果不是指定的異常則會退出

from retrying import retry


def run2(exception):
    return isinstance(exception, ZeroDivisionError)


@retry(retry_on_exception=run2)
def run():
    print("開始重試")
    a = 1 / 0


if __name__ == ‘__main__‘:
    run()

retry_on_result：指定一個函數，如果指定的函數返回True，則重試，否則拋出異常退出

from retrying import retry


def run2(r):
    return isinstance(r, int)


@retry(retry_on_result=run2)
def run():
    print("開始重試")
    a = 1
    return a


if __name__ == ‘__main__‘:
    run()

wrap_exception：參數設置為True/False，如果指定的異常類型，包裹在RetryError中，會看到RetryError和程序拋的Exception error

stop_func: 每次拋出異常時都會執行的函數，如果和stop_max_delay、stop_max_attempt_number配合使用，則後兩者會失效

指定的stop_func會有兩個參數：attempts, delay

wait_func：和stop_func用法差不多，不多描述

retrying模塊的學習