1. 程式人生 > 其它 >mybatis + easy excel 匯出百萬級資料僅需要1g記憶體

mybatis + easy excel 匯出百萬級資料僅需要1g記憶體

思路 mybatis 流處理 + easy excel多次寫。


import org.apache.ibatis.session.ResultHandler
/**
* 目前僅支援mybatis的流處理
* @param query 查詢條件的bean
* @param consumer DAO對應的查詢方法
*             void download(Query query, ResultHandler<OrderDownloadDO> handler);
* @param excelWriter 由於分層的原因這個需要手動構造來傳
* 參考構造
* ExcelWriter excelWriter = EasyExcel.write(os, OrderDownloadDTO.class).build();
* @param <T>
* @param <S>
*/

public
static <T,S> void bigDataExport(T query, BiConsumer<T, ResultHandler<S>> consumer, ExcelWriter excelWriter) { try { WriteSheet[] writeSheet = new WriteSheet[] { EasyExcel.writerSheet(0, "sheet").build() }; List
<S> list = new ArrayList<>(1000); // 0 代表當前的條數,等於100萬時會被置為0 // 1 代表已經有多少個一百萬 int [] c = new int[2]; consumer.accept(query, data -> { c[0]++; list.add(data.getResultObject()); if ((c[0] % 1000) == 0) { excelWriter.write(list, writeSheet[
0]); list.clear(); if (c[0] == 1000000) { c[1]++; writeSheet[0] = EasyExcel.writerSheet(c[1], "sheet" + c[1]).build(); c[0] = 0; } } }); //可能有剩餘的資料 excelWriter.write(list, writeSheet[0]); } finally { excelWriter.finish(); } }

XML檔案寫法

<select id="download" resultType="xxx.OrderDownloadDO"
            resultSetType="FORWARD_ONLY" fetchSize="1000">
        select * from t_order
</select>

呼叫寫法

ExcelUtils.bigDataExport(query, orderDAO::download, writer);

實際測試:匯出148萬左右的資料(8列)只需要一分鐘左右,記憶體1g就夠,並沒有丟擲oom。