踩坑 Spring Cloud Hystrix 執行緒池佇列配置
阿新 • • 發佈：2018-11-07
背景：
有一次在生產環境，突然出現了很多筆還款單被掛起，後來排查原因，發現是內部系統呼叫時出現了Hystrix呼叫異常。在開發過程中，因為核心執行緒數設定的比較大，沒有出現這種異常。放到了測試環境，偶爾有出現這種情況，後來在網上查詢解決方案，網上的方案是調整maxQueueSize屬性就好了，當時調整了一下，確實有所改善。可沒想到在生產環境跑了一段時間後卻又出現這種了情況，此時我第一想法就是去檢視maxQueueSize屬性，可是maxQueueSize屬性是設定值了。當時就比較納悶了，為什麼maxQueueSize屬性不起作用，後來通過檢視官方文件發現Hystrix還有一個queueSizeRejectionThreshold屬性，這個屬性是控制佇列最大閾值的，而Hystrix預設只配置了5個，因此就算我們把maxQueueSize的值設定再大，也是不起作用的。兩個屬性必須同時配置
先看一下正確的Hystrix配置姿勢。
application.yml：
hystrix:
threadpool:
default:
coreSize: 200 #併發執行的最大執行緒數，預設10
maxQueueSize: 1000 #BlockingQueue的最大佇列數，預設值-1
queueSizeRejectionThreshold: 800 #即使maxQueueSize沒有達到，達到queueSizeRejectionThreshold該值後，請求也會被拒絕，預設值5
接下來編寫一個測試類，來驗證幾種錯誤配置，看看會出現什麼情況。
測試類程式碼（A呼叫方）：
/** * @Author: XiongFeng * @Description: * @Date: Created in 11:12 2018/6/11 */ public class RepaymentHelperTest extends FundApplicationTests { @Autowired RepaymentHelper repaymentHelper; @Autowired private RouterFeign routerFeign; @Test public void hystrixTest() throws InterruptedException { for (int i = 0; i < 135; i++) { new Thread(new Runnable() { @Override public void run() { job(); } }).start(); } Thread.currentThread().join(); } public void job() { String repaymentNo = "xf1002"; String transNo = "T4324324234"; String reqNo = "xf1002"; String begintime = "20180831130030"; String endtime = "20180831130050"; TransRecQueryReqDto transRecQueryReqDto = new TransRecQueryReqDto(); transRecQueryReqDto.setTransNo(transNo); transRecQueryReqDto.setBeginTime(begintime); transRecQueryReqDto.setEndTime(endtime); transRecQueryReqDto.setReqNo(reqNo); Resp<List<TransRecDto>> queryTransRecListResp = routerFeign.queryTransRec(new Req<>(repaymentNo, "2018080200000002", null, null, transRecQueryReqDto)); System.out.println(String.format("獲取結果為：【%s】", JsonUtil.toJson(queryTransRecListResp))); } }
- 這個測試類的作用就是建立135個執行緒，通過RouterFeign類併發請求B服務方，看看請求結果是否出現異常。
Feign呼叫程式碼：
@FeignClient(value = "${core.name}", fallbackFactory = RouterFeignBackFactory.class, path = "/router")
public interface RouterFeign {
/**
* 代扣結果查詢
* @param transRecQueryReqDtoReq
* @return
*/
@PostMapping("/queryTransRec")
Resp<List<TransRecDto>> queryTransRec(@RequestBody Req<TransRecQueryReqDto> transRecQueryReqDtoReq);
}- 這個類，就是通過Feign方式去呼叫B服務方的客戶端
服務提供方程式碼（B服務方）：
/**
* @Author: XiongFeng
* @Description:
* @Date: Created in 16:04 2018/5/24
*/
@Api("還款服務")
@RefreshScope
@RestController
@RequestMapping("/router")
public class TestController {
private static Logger logger = LoggerFactory.getLogger(TestController.class);
// 計數器
private static AtomicInteger count = new AtomicInteger(1);
@ApiOperation(value = "代扣結果查詢")
@PostMapping("/queryTransRec")
Resp<List<TransRecDto>> queryTransRec(@RequestBody Req<TransRecQueryReqDto> transRecQueryReqDtoReq) throws InterruptedException {
System.out.println(String.format("查詢支付結果......計數： %s", count.getAndAdd(1)));
Thread.sleep(500);
return Resp.success(RespStatus.SUCCESS.getDesc(), null);
}
- 這個類的作用，就是一個服務提供方，計數並返回結果。
下面我們看一下幾種錯誤的配置。
案例一（將核心執行緒數調低，最大佇列數調大一點，但是佇列拒絕閾值設定小一點）：
hystrix:
threadpool:
default:
coreSize: 10
maxQueueSize: 1000
queueSizeRejectionThreshold: 20此時的結果：
- 左視窗是B服務方，右視窗是A呼叫方。從結果可以看出，呼叫135次，成功32次左右，其餘執行緒全部拋異常。
案例二（將核心執行緒數調低，最大佇列數調小一點，但是佇列拒絕閾值設定大一點）：
hystrix:
threadpool:
default:
coreSize: 10
maxQueueSize: 15
queueSizeRejectionThreshold: 2000此時的結果：
java.util.concurrent.RejectedExecutionException: Task [email protected] rejected from [email protected][Running, pool size = 3, active threads = 3, queued tasks = 15, completed tasks = 0]
- 左視窗是B服務方，右視窗是A呼叫方。從結果可以看出，呼叫135次，成功25次左右，其餘執行緒全部拋異常。。
案例三（將核心執行緒數調低，最大佇列數調大一點，但是佇列拒絕閾值不設定值）：
hystrix:
threadpool:
default:
coreSize: 10
maxQueueSize: 1500此時的結果：
java.util.concurrent.RejectedExecutionException: Rejected command because thread-pool queueSize is at rejection threshold.
- 左視窗是B服務方，右視窗是A呼叫方。此時的結果和案例一的情況一樣，呼叫135次，成功47次左右，其餘執行緒全部拋異常。報錯跟案例一一樣
案例四（將核心執行緒數調低，最大佇列數不設值，但是佇列拒絕閾值設定的比較大）：
hystrix:
threadpool:
default:
coreSize: 10
queueSizeRejectionThreshold: 1000此時的結果：
java.util.concurrent.RejectedExecutionException: Task [email protected] rejected from [email protected][Running, pool size = 0, active threads = 0, queued tasks = 0, completed tasks = 0]
at java.util.concurrent.ThreadPoolExecutor$AbortPolicy.rejectedExecution(ThreadPoolExecutor.java:2063)
at java.util.concurrent.ThreadPoolExecutor.reject(ThreadPoolExecutor.java:830)
at java.util.concurrent.ThreadPoolExecutor.execute(ThreadPoolExecutor.java:1379)
at java.util.concurrent.AbstractExecutorService.submit(AbstractExecutorService.java:112)
- 左視窗是B服務方，右視窗是A呼叫方。此時的結果和案例二的情況一樣，呼叫135次，成功10次左右，其餘執行緒全部拋異常。報錯跟案例二一樣
下面來看一看正確的配置案例
案例一：將核心執行緒數調低，最大佇列數和佇列拒絕閾值的值都設定大一點）：
hystrix:
threadpool:
default:
coreSize: 10
maxQueueSize: 1500
queueSizeRejectionThreshold: 1000此時的結果：
- 左視窗是B服務方，右視窗是A呼叫方。此時的結果就完全正常了，併發請求了135次，全部成功！