【java】多執行緒批量拆分List匯入資料庫
一、前言
前兩天做了一個匯入的功能，匯入開始的時候非常慢，匯入2w條資料要1分多鐘，後來一點一點的優化，從直接把list懟進Mysql中，到分配把list匯入Mysql中，到多執行緒把list匯入Mysql中。時間是一點一點的變少了。非常的爽，最後變成了10s以內。下面就展示一下過程。
二、直接把list懟進Mysql
使用mybatis的批量匯入操作：
@Transactional(rollbackFor = Exception.class)
public int addFreshStudentsNew2(List<FreshStudentAndStudentModel> list, String schoolNo) {
if (list == null || list.isEmpty Mapper.xml
<insert id="insertAll" parameterType="com.dmsdbj.itoo.basicInfo.entity.EnrollStudentEntity">
insert into tb_enroll_student
<trim prefix="(" suffix=")" suffixOverrides=",">
id,
remark,
nEMT_aspiration,
nEMT_code,
nEMT_score,
student_id,
identity_card_id,
level,
major,
name,
nation,
secondary_college,
operator,
sex,
is_delete,
account_address,
native_place,
original_place,
used_name,
pictrue,
join_party_date,
political_status,
tel_num,
is_registry,
graduate_school,
create_time,
update_time </trim>
values
<foreach collection="list" item="item" index="index" separator=",">
(
#{item.id,jdbcType=VARCHAR},
#{item.remark,jdbcType=VARCHAR},
#{item.nemtAspiration,jdbcType=VARCHAR},
#{item.nemtCode,jdbcType=VARCHAR},
#{item.nemtScore,jdbcType=VARCHAR},
#{item.studentId,jdbcType=VARCHAR},
#{item.identityCardId,jdbcType=VARCHAR},
#{item.level,jdbcType=VARCHAR},
#{item.major,jdbcType=VARCHAR},
#{item.name,jdbcType=VARCHAR},
#{item.nation,jdbcType=VARCHAR},
#{item.secondaryCollege,jdbcType=VARCHAR},
#{item.operator,jdbcType=VARCHAR},
#{item.sex,jdbcType=VARCHAR},
0,
#{item.accountAddress,jdbcType=VARCHAR},
#{item.nativePlace,jdbcType=VARCHAR},
#{item.originalPlace,jdbcType=VARCHAR},
#{item.usedName,jdbcType=VARCHAR},
#{item.pictrue,jdbcType=VARCHAR},
#{item.joinPartyDate,jdbcType=VARCHAR},
#{item.politicalStatus,jdbcType=VARCHAR},
#{item.telNum,jdbcType=VARCHAR},
#{item.isRegistry,jdbcType=TINYINT},
#{item.graduateSchool,jdbcType=VARCHAR},
now(),
now()
)
</foreach>
</insert> 程式碼說明：
底層的mapper是通過逆向工程來生成的，批量插入如下，是拼接成類似： insert into tb_enroll_student（）values （），（）…….（） ；
這樣的缺點是，資料庫一般有一個預設的設定，就是每次sql操作的資料不能超過4M。這樣插入，資料多的時候，資料庫會報錯Packet for query is too large (6071393 > 4194304). You can change this value on the server by setting the max_allowed_packet' variable.，雖然我們可以通過
類似 修改 my.ini 加上 max_allowed_packet =67108864
67108864=64M
預設大小4194304 也就是4M
修改完成之後要重啟mysql服務，如果通過命令列修改就不用重啟mysql服務。
完成本次操作，但是我們不能保證專案單次最大的大小是多少，這樣是有弊端的。所以可以考慮進行分組匯入。
二、分組把list匯入Mysql中
同樣適用mybatis批量插入，區別是對每次的匯入進行分組計算，然後分多次進行匯入：
@Transactional(rollbackFor = Exception.class)
public int addFreshStudentsNew2(List<FreshStudentAndStudentModel> list, String schoolNo) {
if (list == null || list.isEmpty()) {
return 0;
}
List<StudentEntity> studentEntityList = new LinkedList<>();
List<EnrollStudentEntity> enrollStudentEntityList = new LinkedList<>();
List<AllusersEntity> allusersEntityList = new LinkedList<>();
for (FreshStudentAndStudentModel freshStudentAndStudentModel : list) {
EnrollStudentEntity enrollStudentEntity = new EnrollStudentEntity();
StudentEntity studentEntity = new StudentEntity();
BeanUtils.copyProperties(freshStudentAndStudentModel, studentEntity);
BeanUtils.copyProperties(freshStudentAndStudentModel, enrollStudentEntity);
String operator = TenancyContext.UserID.get();
String studentId = BaseUuidUtils.base58Uuid();
enrollStudentEntity.setId(BaseUuidUtils.base58Uuid());
enrollStudentEntity.setStudentId(studentId);
enrollStudentEntity.setIdentityCardId(freshStudentAndStudentModel.getIdCard());
enrollStudentEntity.setOperator(operator);
studentEntity.setId(studentId);
studentEntity.setIdentityCardId(freshStudentAndStudentModel.getIdCard());
studentEntity.setOperator(operator);
studentEntityList.add(studentEntity);
enrollStudentEntityList.add(enrollStudentEntity);
AllusersEntity allusersEntity = new AllusersEntity();
allusersEntity.setId(enrollStudentEntity.getId());
allusersEntity.setUserCode(enrollStudentEntity.getNemtCode());
allusersEntity.setUserName(enrollStudentEntity.getName());
allusersEntity.setSchoolNo(schoolNo);
allusersEntity.setTelNum(enrollStudentEntity.getTelNum());
allusersEntity.setPassword(enrollStudentEntity.getNemtCode()); //密碼設定為考生號
allusersEntityList.add(allusersEntity);
}
int c = 100;
int b = enrollStudentEntityList.size() / c;
int d = enrollStudentEntityList.size() % c;
int enResult = 0;
int stuResult = 0;
boolean allResult = false;
for (int e = c; e <= c * b; e = e + c) {
enResult = enrollStudentDao.insertAll(enrollStudentEntityList.subList(e - c, e));
stuResult = studentDao.insertAll(studentEntityList.subList(e - c, e));
allResult = allusersFacade.insertUserList(allusersEntityList.subList(e - c, e));
}
if (d != 0) {
enResult = enrollStudentDao.insertAll(enrollStudentEntityList.subList(c * b, enrollStudentEntityList.size()));
stuResult = studentDao.insertAll(studentEntityList.subList(c * b, studentEntityList.size()));
allResult = allusersFacade.insertUserList(allusersEntityList.subList(c * b, allusersEntityList.size()));
}
if (enResult > 0 && stuResult > 0 && allResult) {
return 10;
}
return -10;
}
程式碼說明：
這樣操作，可以避免上面的錯誤，但是分多次插入，無形中就增加了操作實踐，很容易超時。所以這種方法還是不值得提倡的。
再次改進，使用多執行緒分批匯入。
四、多執行緒分批匯入Mysql
依然使用mybatis的批量匯入，不同的是，根據執行緒數目進行分組，然後再建立多執行緒池，進行匯入。
@Transactional(rollbackFor = Exception.class)
public int addFreshStudentsNew(List<FreshStudentAndStudentModel> list, String schoolNo) {
if (list == null || list.isEmpty()) {
return 0;
}
List<StudentEntity> studentEntityList = new LinkedList<>();
List<EnrollStudentEntity> enrollStudentEntityList = new LinkedList<>();
List<AllusersEntity> allusersEntityList = new LinkedList<>();
list.forEach(freshStudentAndStudentModel -> {
EnrollStudentEntity enrollStudentEntity = new EnrollStudentEntity();
StudentEntity studentEntity = new StudentEntity();
BeanUtils.copyProperties(freshStudentAndStudentModel, studentEntity);
BeanUtils.copyProperties(freshStudentAndStudentModel, enrollStudentEntity);
String operator = TenancyContext.UserID.get();
String studentId = BaseUuidUtils.base58Uuid();
enrollStudentEntity.setId(BaseUuidUtils.base58Uuid());
enrollStudentEntity.setStudentId(studentId);
enrollStudentEntity.setIdentityCardId(freshStudentAndStudentModel.getIdCard());
enrollStudentEntity.setOperator(operator);
studentEntity.setId(studentId);
studentEntity.setIdentityCardId(freshStudentAndStudentModel.getIdCard());
studentEntity.setOperator(operator);
studentEntityList.add(studentEntity);
enrollStudentEntityList.add(enrollStudentEntity);
AllusersEntity allusersEntity = new AllusersEntity();
allusersEntity.setId(enrollStudentEntity.getId());
allusersEntity.setUserCode(enrollStudentEntity.getNemtCode());
allusersEntity.setUserName(enrollStudentEntity.getName());
allusersEntity.setSchoolNo(schoolNo);
allusersEntity.setTelNum(enrollStudentEntity.getTelNum());
allusersEntity.setPassword(enrollStudentEntity.getNemtCode()); //密碼設定為考生號
allusersEntityList.add(allusersEntity);
});
int nThreads = 50;
int size = enrollStudentEntityList.size();
ExecutorService executorService = Executors.newFixedThreadPool(nThreads);
List<Future<Integer>> futures = new ArrayList<Future<Integer>>(nThreads);
for (int i = 0; i < nThreads; i++) {
final List<EnrollStudentEntity> EnrollStudentEntityImputList = enrollStudentEntityList.subList(size / nThreads * i, size / nThreads * (i + 1));
final List<StudentEntity> studentEntityImportList = studentEntityList.subList(size / nThreads * i, size / nThreads * (i + 1));
final List<AllusersEntity> allusersEntityImportList = allusersEntityList.subList(size / nThreads * i, size / nThreads * (i + 1));
Callable<Integer> task1 = () -> {
studentSave.saveStudent(EnrollStudentEntityImputList,studentEntityImportList,allusersEntityImportList);
return 1;
};
futures.add(executorService.submit(task1));
}
executorService.shutdown();
if (!futures.isEmpty() && futures != null) {
return 10;
}
return -10;
}
程式碼說明：
上面是通過應用ExecutorService 建立了固定的執行緒數，然後根據執行緒數目進行分組，批量依次匯入。一方面可以緩解資料庫的壓力，另一個面執行緒數目多了，一定程度會提高程式執行的時間。缺點就是要看伺服器的配置，如果配置好的話就可以開多點執行緒，配置差的話就開小點。
五、小結
通過使用這個操作真是不斷的提高了，專案使用技巧也是不錯。加油~~ 多執行緒哦~~
相關推薦
【java】多執行緒批量拆分List匯入資料庫
一、前言 前兩天做了一個匯入的功能，匯入開始的時候非常慢，匯入2w條資料要1分多鐘，後來一點一點的優化，從直接把list懟進Mysql中，到分配把list匯入Mysql中，到多執行緒把list匯入Mysql中。時間是一點一點的變少了。非常的爽，最後
多執行緒批量拆分List匯入資料庫
一、前言 前兩天做了一個匯入的功能，匯入開始的時候非常慢，匯入2w條資料要1分多鐘，後來一點一點的優化，從直接把list懟進Mysql中，到分配把list匯入Mysql中，到多執行緒把list匯入Mysql中。時間是一點一點的變少了。非常的爽，最後變成了10s以內
【Java】多執行緒初探
Java的執行緒狀態 從作業系統的角度看，執行緒有5種狀態：建立， 就緒， 執行， 阻塞， 終止（結束）。如下圖所示 而Java定義的執行緒狀態有： 建立（New）， 可執行(Runnable)， 阻塞(Blocked)， 等待(Waiting)， 計時等待(Time
【JAVA】多執行緒造成的安全問題
前言 執行緒可以看做我們每一個人，在社會中可能表現出不同的行為，所以人發生的情況執行緒也可能發生。 1.死鎖問題 兩個人吃飯，一雙筷子，一人拿起一根，等待前一個人丟下筷子； 2.飢餓問題 食堂吃飯需要排隊，還可以插隊，於是
【Java】多執行緒基礎
執行緒的狀態 狀態名稱 說明 new 初始狀態：執行緒被構建，但沒有呼叫start()方法 runnable 執行狀態：就緒和執行統稱“執行中” blocked 阻塞狀態：執行緒阻塞於鎖 waitin
【Java】多執行緒系列05(執行緒等待與喚醒)
1、wait(),notify(),notifyAll()等方法介紹 在Object.java中，定義了wait(), notify()和notifyAll()等介面。wait()的作用是讓當前執行緒進入等待狀態，同時，wait()也會讓當前執行緒釋放它
【Java】多執行緒系列（三）之阻塞執行緒的多種方法
前言： 在某些應用場景下，我們可能需要等待某個執行緒執行完畢，然後才能進行後續的操作。也就是說，主執行緒需要等待子執行緒都執行完畢才能執行後續的任務。 例如，當你在計算利用多執行緒執行幾個比較耗時的任務的時候，主執行緒需要利用這幾個執行緒計算的結果，才能進行後
【JAVA】多執行緒之記憶體可見性
多執行緒之記憶體可見性 一、什麼是可見性？ 一個執行緒對共享變數值的修改，能夠及時地被其他執行緒所看到。 共享變數：如果一個變數在多個執行緒的工作記憶體中都存在副本，那麼這個變數就是這幾個執行緒的共
Java定時任務Timer排程器【二】 多執行緒原始碼分析（圖文版）
上一節通過一個小例子分析了Timer執行過程，牽涉的執行執行緒雖然只有兩個，但實際場景會比上面複雜一些。 首先通過一張簡單類圖（只列出簡單的依賴關係）看一下Timer暴露的介面。 為了演示Timer所暴露的介面，下面舉一個極端的例子（每一個介面方法面
【python3】多執行緒-執行緒同步
- 1. 認識執行緒同步現象： 在https://blog.csdn.net/weixin_41827162/article/details/84104421執行緒非同步中， 將方法1中： 建多個執行緒，同時執行多個執行緒，由新到舊逐個釋放執行緒 改成： 建立一個執行緒，
【python3】多執行緒-執行緒非同步（推薦使用）
- python3有threading和_thread兩種執行緒寫法，推薦使用threading。 開多執行緒就是為了使用多執行緒的非同步能力來同時執行多個執行緒。 1. threading方法 #!/usr/bin/python3 # 執行緒非同步 import thread
【 分類 】- 多執行緒
專欄達人 授予成功建立個人部落格專欄
【muduo】多執行緒伺服器的適用場合與程式設計模型
文章目錄 一、程序與執行緒 1、程序的概念 2、關於程序的一個形象比喻（人） 3、執行緒的概念 二、多程序和多執行緒的適用場景 1、需要頻繁建立銷燬的優先用執行緒 2、
【OpenMP】多執行緒計算過程中任務排程問題
對於OpenMP的任務排程主要針對於並行的for迴圈，當每一次迴圈過程中的計算時間複雜度不一致的時候，簡單的給每一個執行緒分配相同次數的迭代，會導致執行緒計算負載不均衡。不僅如此，對於實時計算的計算機，每一個核心的佔用率是不一樣的。針對該問題，OpenMP中給出
【併發】多執行緒程式設計中條件變數和虛假喚醒的討論
轉自：http://blog.csdn.net/puncha/article/details/8493862 From: http://siwind.iteye.com/blog/1469216 From:http://en.wikipedia.org/wiki/S
【Linux】多執行緒無鎖程式設計--原子計數操作：__sync_fetch_and_add等12個操作
最近自己做了一些涉及多執行緒程式設計的專案，其中就涉及到多執行緒間計數操作、共享狀態或者統計相關時間次數，這些都需要在多執行緒之間共享變數和修改變數，如此就需要在多執行緒間對該變數進行互斥操作和訪問。 通常遇到多執行緒互斥的問題，首先想到的就是
【Java筆記】多執行緒實現簡單的非同步運算
實現Callable介面，重寫call（）方法，使操作執行緒池時能帶有返回值的效果： import java.util.concurrent.Callable; public class GetSumCallable implements Callable<Integer> {
【學習筆記】Java-Concurrent-多執行緒容器
BlockingQueue 阻塞佇列 高頻函式: boolean put() 新增一個元素 沒有空間則一直阻塞等待 boolean add() 新增一個元素 沒有空間則丟擲IllegalStateException異常 boolean off
【學習筆記】Java-Concurrent-多執行緒測試模板
import java.util.concurrent.CountDownLatch; /** * 多執行緒測試模板 * * @author Mairuis * @date 2018/10/11 */ public class ConcurrentTest { public s
【多執行緒】在專案中用JAVA使用多執行緒
一，初衷 因為在學習java基礎的時候，學習過兩種實現多執行緒的方法。今天在看一個文章的時候，看到了別人在專案中執行多執行緒。想到自己還沒用過，所以將別人的使用方法記錄下來，方便以後自己在專案中呼叫多執行緒可以嘗試一下。 二，多執行緒的實現 2.1 繼