第5章：批量插入

5.1 批量執行SQL語句

當需要成批插入或者更新記錄時，可以採用Java的批量更新機制，這一機制允許多條語句一次性提交給資料庫批量處理。通常情況下比單獨提交處理更有效率

JDBC的批量處理語句包括下面三個方法：

• addBatch(String)：新增需要批量處理的SQL語句或是引數；
• executeBatch()：執行批量處理語句；
• clearBatch():清空快取的資料

通常我們會遇到兩種批量執行SQL語句的情況：

• 多條SQL語句的批量處理；
• 一個SQL語句的批量傳參；

5.2 高效的批量插入

舉例：向資料表中插入20000條資料

• 資料庫中提供一個goods表。建立如下：

CREATE TABLE goods(
id INT PRIMARY KEY AUTO_INCREMENT,
NAME VARCHAR(20)
);

5.2.1 實現層次一：使用Statement

Connection conn = JDBCUtils.getConnection();
Statement st = conn.createStatement();
for(int i = 1;i <= 20000;i++){
    String sql = "insert into goods(name) values('name_' + "+ i +")";
    st.executeUpdate(sql);
}
 

5.2.2 實現層次二：使用PreparedStatement

long start = System.currentTimeMillis();
        
Connection conn = JDBCUtils.getConnection();
        
String sql = "insert into goods(name)values(?)";
PreparedStatement ps = conn.prepareStatement(sql);
for(int i = 1;i <= 20000;i++){
    ps.setString(1, "name_" + i);
    ps.executeUpdate();
}
        
long end = System.currentTimeMillis();
System.out.println("花費的時間為：" + (end - start));//82340
        
        
JDBCUtils.closeResource(conn, ps);
 

5.2.3 實現層次三

/*
 * 修改1： 使用 addBatch() / executeBatch() / clearBatch()
 * 修改2：mysql伺服器預設是關閉批處理的，我們需要通過一個引數，讓mysql開啟批處理的支援。
 *       ?rewriteBatchedStatements=true 寫在配置檔案的url後面
 * 修改3：使用更新的mysql 驅動：mysql-connector-java-5.1.37-bin.jar
 * 
 */
@Test
public void testInsert1() throws Exception{
    long start = System.currentTimeMillis();
        
    Connection conn = JDBCUtils.getConnection();
        
    String sql = "insert into goods(name)values(?)";
    PreparedStatement ps = conn.prepareStatement(sql);
        
    for(int i = 1;i <= 1000000;i++){
        ps.setString(1, "name_" + i);
            
        //1.“攢”sql
        ps.addBatch();
        if(i % 500 == 0){
            //2.執行
            ps.executeBatch();
            //3.清空
            ps.clearBatch();
        }
    }
        
    long end = System.currentTimeMillis();
    System.out.println("花費的時間為：" + (end - start));//20000條：625                                                                         //1000000條:14733  
        
    JDBCUtils.closeResource(conn, ps);
}

5.2.4 實現層次四

/*
* 層次四：在層次三的基礎上操作
* 使用Connection 的 setAutoCommit(false)  /  commit()
*/
@Test
public void testInsert2() throws Exception{
    long start = System.currentTimeMillis();
        
    Connection conn = JDBCUtils.getConnection();
        
    //1.設定為不自動提交資料
    conn.setAutoCommit(false);
        
    String sql = "insert into goods(name)values(?)";
    PreparedStatement ps = conn.prepareStatement(sql);
        
    for(int i = 1;i <= 1000000;i++){
        ps.setString(1, "name_" + i);
            
        //1.“攢”sql
        ps.addBatch();
            
        if(i % 500 == 0){
            //2.執行
            ps.executeBatch();
            //3.清空
            ps.clearBatch();
        }
    }
        
    //2.提交資料
    conn.commit();
        
    long end = System.currentTimeMillis();
    System.out.println("花費的時間為：" + (end - start));//1000000條:4978 
        
    JDBCUtils.closeResource(conn, ps);
}