在做資料抓取的時候，經常遇到由於網路問題導致的程式儲存，先前只是記錄了錯誤內容，並對錯誤內容進行後期處理。

原先的流程：

def crawl_page(url):
    pass

def log_error(url):
    pass

url = ""
try:
   crawl_page(url)
except:
    log_error(url)

改進後的流程：

attempts = 0
success = False
while attempts < 3 and not success:
    try:
        crawl_page(url)
        success = True
 

    except:
        attempts += 1
        if attempts == 3:
            break

最近發現的新的解決方案：retrying

retrying是一個 Python的重試包，可以用來自動重試一些可能執行失敗的程式段。retrying提供一個裝飾器函式retry，被裝飾的函式就會在執行失敗的條件下重新執行，預設只要一直報錯就會不斷重試。

import random
from retrying import retry

@retry
def do_something_unreliable():
    if random.randint(0
 
, 10) > 1:
        raise IOError("Broken sauce, everything is hosed!!!111one")
    else:
        return "Awesome sauce!"

print do_something_unreliable()

如果我們執行have_a_try函式，那麼直到random.randint返回5，它才會執行結束，否則會一直重新執行。
retry還可以接受一些引數，這個從原始碼中Retrying類的初始化函式可以看到可選的引數：

1、stop_max_attempt_number：用來設定最大的嘗試次數，超過該次數就停止重試
2、stop_max_delay

：比如設定成10000，那麼從被裝飾的函式開始執行的時間點開始，到函式成功執行結束或者失敗報錯中止的時間點，只要這段時間超過10秒，函式就不會再執行了
3、wait_fixed：設定在兩次retrying之間的停留時間
4、wait_random_min和wait_random_max：用隨機的方式產生兩次retrying之間的停留時間
5、wait_exponential_multiplier和wait_exponential_max：以指數的形式產生兩次retrying之間的停留時間，產生的值為2^previous_attempt_number * wait_exponential_multiplier，previous_attempt_number是前面已經retry的次數，如果產生的這個值超過了wait_exponential_max的大小，那麼之後兩個retrying之間的停留值都為wait_exponential_max。這個設計迎合了exponential backoff演算法，可以減輕阻塞的情況。
我們可以指定要在出現哪些異常的時候再去retry，這個要用retry_on_exception傳入一個函式物件：

def retry_if_io_error(exception):
    return isinstance(exception, IOError)

@retry(retry_on_exception=retry_if_io_error)
def read_a_file():
    with open("file", "r") as f:
        return f.read()

在執行read_a_file函式的過程中，如果報出異常，那麼這個異常會以形參exception傳入retry_if_io_error函式中，如果exception是IOError那麼就進行retry，如果不是就停止執行並丟擲異常。

我們還可以指定要在得到哪些結果的時候去retry，這個要用retry_on_result傳入一個函式物件：

def retry_if_result_none(result):
    return result is None

@retry(retry_on_result=retry_if_result_none)
def get_result():
    return None

在執行get_result成功後，會將函式的返回值通過形參result的形式傳入retry_if_result_none函式中，如果返回值是None那麼就進行retry，否則就結束並返回函式值。

其他相關資料：
https://pypi.python.org/pypi/retry/
https://julien.danjou.info/blog/2015/python-retrying
https://github.com/rholder/retrying

原文：https://www.biaodianfu.com/python-error-retry.html