徹底掌握網路通訊(六)HttpRequestRetryHandler解析
在進行批量插入到clickhouse資料庫的時候,出現了這種問題:
21:28:02.022 [pool-5-thread-9] INFO o.a.http.impl.execchain.RetryExec - I/O exception (java.net.SocketException) caught when processing request to {}->http://35.26.59.191:8123: Broken pipe (Write failed) 21:28:02.029 [pool-5-thread-9] INFO o.a.http.impl.execchain.RetryExec - Retrying request to {}->http://35.26.59.191:8123
原先是:斷開的管道
18:34:50.032 [pool-11-thread-10] INFO o.a.http.impl.execchain.RetryExec - I/O exception (java.net.SocketException) caught when processing request to {}->http://35.26.59.191:8123: >斷開的管道 18:34:50.033 [pool-11-thread-10] INFO o.a.http.impl.execchain.RetryExec - Retrying request to {}->http://35.26.59.191:8123
我還以為是連線時長過短的原因:(但是並沒有用)
clickhouse.socketTimeout=6000000
後面查閱了相關資料才發現,HttpClient有預設的重試策略。
對於我們的場景應用中的get與post,可以總結為:
只有發生IOExecetion時才會發生重試 InterruptedIOException、UnknownHostException、ConnectException、SSLException,發生這4中異常不重試 get方法可以重試3次,post方法在socket對應的輸出流沒有被write並flush成功時可以重試3次。 首先分析下不重試的異常:
InterruptedIOException,執行緒中斷異常 UnknownHostException,找不到對應host ConnectException,找到了host但是建立連線失敗。 SSLException,https認證異常 另外,我們還經常會提到兩種超時,連線超時與讀超時:
java.net.SocketTimeoutException: Read timed out java.net.SocketTimeoutException: connect timed out 這兩種超時都是SocketTimeoutException,繼承自InterruptedIOException,屬於上面的第1種執行緒中斷異常,不會進行重試。
由於SocketException extends IOException,所以會嘗試重試
總結 1.只有發生IOExecetion時才會發生重試 2.InterruptedIOException、UnknownHostException、ConnectException、SSLException,發生這4中異常不重試 3.get方法可以重試3次,post方法在socket對應的輸出流沒有被write並flush成功時可以重試3次。 4.讀/寫超時不進行重試 5.socket傳輸中被重置或關閉會進行重試 6.以及一些其他的IOException,暫時分析不出來。