JDBC PreparedStatement 批量查詢 in 的實現 方案
阿新 • • 發佈:2018-06-07
JDBC PreparedStateme我們經常會有這種業務需求,根據一個條件集合去查詢一張表的數據,比如:
select * from tablename t where t.name in (List <taskids>);
在java語言中,我們需要用到JDBC來和數據庫打交道,那麽在JDBC中該如何處理這種需求呢?我們可以有如下幾種處理方式
select * from tablename t where t.name in (List <taskids>);
在java語言中,我們需要用到JDBC來和數據庫打交道,那麽在JDBC中該如何處理這種需求呢?我們可以有如下幾種處理方式
方案一:寫一個函數把參數集合轉換成一個or 條件 或 in 條件的字符串,最後拼成一個sql
select from tablename t where t.name in (‘123‘ ,‘456‘, ‘789‘);
或者是:
select from tablename t where t.name=‘123‘ or t.name= ‘456‘ t.name= ‘789‘;
但是這樣效率如何呢?我們知道Oracle對傳過來的SQL是需要事先編譯的,不過是Oracle有個緩存功能可以緩存編譯好的SQL,但前提是傳過來的SQL必須完全一致,很明顯,如果按照以上方式的話,一旦taskid值變化,那麽Oracle的緩存便無法利用。
方案二:使用預編譯的PrepareStatement
為了解決Oracle緩存無法利用問題,Jdbc提供了預編譯的PrepareStatement,對於變化的參數可以用占位符 <?> 來代替,因此我們可以用占位符來減少Oracle編譯次數。 private static final String QUERY = "select * from tablename where name= ?"; ps = con .prepareStatement(QUERY); for(String name : taskIds){ ps.setString(1,name); rs = ps .executeQuery(); } 這樣做雖然可以很好的利用Oracle的緩存,但缺點也很明顯,就是每一個Id都需要查詢數據庫一次,這樣效率是極低的。
方案三:動態地創建PrepareStatement
雖然變化的參數可以用占位符 <?> 來代替,然而遺憾的是Jdbc只提供了單一占位符功能即占位符不能是一個可叠代的集合。因此,對於我們傳過來的集合參數,我們可以動態地創建一個PrepareStatement: 拼一個和集合大小相等數量占位符的SQL,再寫一個循環來賦值每一個占位符,這樣就可以解決taskId的值變化而導致Oracle重新編譯SQL問題。 private static void createQuery(List<String> taskIds) { String query = "select * from tablename t where t.name in ("; StringBuilder queryBuilder = new StringBuilder(query); for ( int i = 0; i < taskIds.size(); i++) { queryBuilder.append( " ?"); if (i != taskIds.size() - 1) queryBuilder.append( ","); } queryBuilder.append( ")"); ps = con .prepareStatement(query); for ( int i = 1; i <= taskIds.size(); i++) { ps.setString(i, taskIds.get(i - 1).toString()); } rs = ps .executeQuery(); } 但是這麽做還是存在一個問題,如果集合的值變化不會導致Oracle重新編譯,但是如果集合的大小發生變化,相對應的SQL也就發生了變化,同樣也會導致Oracle重新編譯,那麽該如何解決這個問題呢?
方案四:批量查詢(減少查詢次數並利用到Oracle緩存)
批量查詢兼顧了第二、第三種方案,其思想是預先定義好幾個每次要查詢參數的個數,然後把參數集合按這些定義好的值劃分成小組。比如我們的前臺傳過來一個數量為75的taskId的集合,我預定義的批量查詢參數的個數分別為:
SINGLE_BATCH = 1;//註意:為了把參數集合完整劃分,這個值為1的批量數是必須的
SMALL_BATCH = 4;
MEDIUM_BATCH = 11;
LARGE_BATCH = 51;
那麽我們第一次會查詢51條數據,還剩下24個沒有查詢,那麽第二次批量查詢11條數據,還剩下13條未查詢,第三次再批量查詢11條數據,最後還剩2條未查詢,那麽我們再分兩批次,每批次僅查詢一條,這樣,最終一個75條的數據分5批次即可查詢完成,減少了查詢次數,而且還利用到了數據庫緩存。附獲取批量的算法:
public static final int SINGLE_BATCH = 1; //註意:為了把參數集合完整劃分,這個值為1的批量數是必須的
public static final int SMALL_BATCH = 4;
public static final int MEDIUM_BATCH = 11;
public static final int LARGE_BATCH = 51;
static int totalNumberOfValuesLeftToBatch=75;
public static List<Integer> getBatchSize( int totalNumberOfValuesLeftToBatch){
List<Integer> batches= new ArrayList<Integer>();
while ( totalNumberOfValuesLeftToBatch > 0 ) {
int batchSize = SINGLE_BATCH;
if ( totalNumberOfValuesLeftToBatch >= LARGE_BATCH ) {
batchSize = LARGE_BATCH;
} else if ( totalNumberOfValuesLeftToBatch >= MEDIUM_BATCH ) {
batchSize = MEDIUM_BATCH;
} else if ( totalNumberOfValuesLeftToBatch >= SMALL_BATCH ) {
batchSize = SMALL_BATCH;
}
batches.add(batchSize);
totalNumberOfValuesLeftToBatch -= batchSize;
System. out.println(batchSize);
}
return batches;
}
JDBC PreparedStatement 批量查詢 in 的實現 方案