簡介

情景：1200萬表資料匯入記憶體資料庫，按分頁大小10000查詢，多執行緒，15條執行緒跑。
使用了ExecutorService executor = Executors.newFixedThreadPool(15)
本地跑了一段時間後，發現電腦CPU慢慢升高，最後CPU佔用100%卡死，記憶體使用也高達80%。

排查問題

Debug 發現雖然建立了定長15的執行緒池，但是因為資料量大，在For中迴圈分頁查詢的List會持續加入LinkedBlockingQueue()
佇列中每一個等待的任務，又載入了1萬的資料。所以不管是執行緒數的CPU搶佔，還是記憶體的消耗都是極高。
所以是不是能夠控制等待佇列LinkedBlockingQueue的上限就可以了。

解決辦法

使用AtomicLong 統計執行緒是否完成，再執行executor.submit()提交新的任務導佇列中。
虛擬碼如下：

private AtomicLong threadNum = new AtomicLong(0);

public void init() throws Exception {
	ExecutorService executor = Executors.newFixedThreadPool(15);

	Integer total = accountMapper.selectCount(new QueryWrapper<>());
	Integer pageSize = 10000;  // 頁大小
	Integer pageCount = (total + pageSize -1) / pageSize; // 總頁數

	for (Integer start = 1; start <= pageCount; start++) {

		List<Account> list = accountMapper.selectPage(new Page<>(start, pageSize), query).getRecords();

		//等待執行緒任務完成，設定30，可令執行執行緒數為15，等待佇列執行緒數為15
		while (threadNum.get() >= 30){
			Thread.sleep(5000);
		}

		//開啟1個執行緒+1
		threadNum.incrementAndGet();
	
		executor.submit(() -> {

			try {
				// 處理業務
				dealMessage(list);
				// 任務完成 -1
				threadNum.decrementAndGet();
			} catch (Exception e) {
				e.printStackTrace();
			}

		});

	}

}
 

效果就是CPU保持在15~45%之間，記憶體佔用也只有45%。

目前只想到這樣的方式，控制等待佇列LinkedBlockingQueue的上限，還有更好的方式請告知，感謝！