JDBC addbatch批量處理資料時有最大值限制
阿新 • • 發佈:2019-02-15
在用jdbc向資料灌入資料時,發現120000的資料每次只能灌入50000多條,其他的就沒有了。
在oracle 9i(windows 2003),oracle 10g(RHEL 4)上試驗證有相同的結果。
使用定量灌入的辦法,每5W條定義為一個事務,進行提交,將120000資料迴圈灌入,成功。
對於批量的update,delete操作兩樣有5W條左右的記錄數限制。
結論:jdbc批量資料處理的每個批次是有數量的限制的。
我在本地環境中測試的限制量為每批54464條,其他配置的機器沒有試過。
以下是刪除資料時的程式碼:
以下是更新資料的程式碼:
在oracle 9i(windows 2003),oracle 10g(RHEL 4)上試驗證有相同的結果。
使用定量灌入的辦法,每5W條定義為一個事務,進行提交,將120000資料迴圈灌入,成功。
對於批量的update,delete操作兩樣有5W條左右的記錄數限制。
結論:jdbc批量資料處理的每個批次是有數量的限制的。
我在本地環境中測試的限制量為每批54464條,其他配置的機器沒有試過。
以下是插入資料時的程式碼:
- ConnDB cd = new ConnDB();
-
Connection ct = null
- PreparedStatement pst = null;
- ResultSet rs = null;
- ct = cd.getConn();
- String insertSql = "insert into mytable (name,age) values(?,?)";
- System.out.println(insertSql);
- try {
- ct.setAutoCommit(false); // 開始事務
-
pst = ct.prepareStatement(insertSql);
- for (int i = 0; i < 120000; i++) {
- pst.setString(1, "name" + i);
- pst.setInt(2, i);
- pst.addBatch();
- System.out.println(i);
- //分段提交
- if((i%50000==0&& i!=0)||i== (120000 -1)){
-
pst.executeBatch();
- ct.commit();
- ct.setAutoCommit(false);// 開始事務
- pst = ct.prepareStatement(insertSql);
- System.out.println("------------>50000");
- }
- }
- ct.commit();// 提交事務
- } catch (SQLException e) {
- try {
- ct.rollback();
- } catch (SQLException e1) {
- e1.printStackTrace();
- }
- e.printStackTrace();
- } catch (RuntimeException e) {
- try {
- ct.rollback();
- } catch (SQLException e1) {
- e1.printStackTrace();
- }
- } finally {
- cd.close(ct, pst, rs);
- }
- }
以下是刪除資料時的程式碼:
- ConnDB cd = new ConnDB();
- Connection ct = null;
- PreparedStatement pst = null;
- ResultSet rs = null;
- ct = cd.getConn();
- String deleteSql = "delete from mytable t where t.name=?";
- System.out.println(deleteSql);
- int[] intArray = newint[120000];
- try {
- ct.setAutoCommit(false); // 開始事務
- pst = ct.prepareStatement(deleteSql);
- for (int i = 0; i < 120000; i++) {
- pst.setString(1, "name" + i);
- pst.addBatch();
- System.out.println(i);
- // 分段提交
- if ((i % 50000 == 0 && i != 0) || i == (120000 - 1)) {
- intArray = pst.executeBatch();
- ct.commit();
- ct.setAutoCommit(false);// 開始事務
- pst = ct.prepareStatement(deleteSql);
- System.out.println("------------>50000");
- }
- }
- ct.commit();// 提交事務
- } catch (SQLException e) {
- try {
- ct.rollback();
- } catch (SQLException e1) {
- e1.printStackTrace();
- }
- e.printStackTrace();
- } catch (RuntimeException e) {
- try {
- ct.rollback();
- } catch (SQLException e1) {
- e1.printStackTrace();
- }
- } finally {
- cd.close(ct, pst, rs);
- }
以下是更新資料的程式碼:
- ConnDB cd = new ConnDB();
- Connection ct = null;
- PreparedStatement pst = null;
- ResultSet rs = null;
- ct = cd.getConn();
- String deleteSql = "update mytable t set t.age =20 where t.name=?";
- System.out.println(deleteSql);
- int[] intArray = newint[120000];
- try {
- ct.setAutoCommit(false); // 開始事務
- pst = ct.prepareStatement(deleteSql);
- for (int i = 0; i < 120000; i++) {
- pst.setString(1, "name"+i);
- pst.addBatch();
- System.out.println(i);
- // 分段提交
- if ((i % 50000 == 0 && i != 0) || i == (120000 - 1)) {
- intArray = pst.executeBatch();
- ct.commit();
- ct.setAutoCommit(false);// 開始事務
- pst = ct.prepareStatement(deleteSql);
- System.out.println("------------>50000");
- }
- }
- ct.commit();// 提交事務
- } catch (SQLException e) {
- try {
- ct.rollback();
- } catch (SQLException e1) {
- e1.printStackTrace();
- }
- e.printStackTrace();
- } catch (RuntimeException e) {
- try {
- ct.rollback();
- } catch (SQLException e1) {
- e1.printStackTrace();
- }
- } finally {
- cd.close(ct, pst, rs);
- }
- }