1. 程式人生 > >SQL一次性插入大量資料

SQL一次性插入大量資料

在SQL Server 中插入一條資料使用Insert語句,但是如果想要批量插入一堆資料的話,迴圈使用Insert不僅效率低,而且會導致SQL一系統效能問題。下面介紹SQL Server支援的兩種批量資料插入方法:Bulk和表值引數(Table-Valued Parameters)。

執行下面的指令碼,建立測試資料庫和表值引數。

  1. --Create DataBase  
  2. create database BulkTestDB;  
  3. go  
  4. use BulkTestDB;  
  5. go  
  6. --Create Table  
  7. Create table BulkTestTable(  
  8. Id int primary key,  
  9. UserName nvarchar(32),  
  10. Pwd varchar(16))  
  11. go  
  12. --Create Table Valued  
  13. CREATE TYPE BulkUdt AS TABLE  
  14.   (Id int,  
  15.    UserName nvarchar(32),  
  16.    Pwd varchar(16))  

下面我們使用最簡單的Insert語句來插入100萬條資料,程式碼如下:

  1. Stopwatch sw = new Stopwatch();  
  2. SqlConnection sqlConn = new SqlConnection(  
  3.     ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);//連線資料庫
  4. SqlCommand sqlComm = new SqlCommand();  
  5. sqlComm.CommandText = string.Format("insert into BulkTestTable(Id,UserName,Pwd)values(@p0,@p1,@p2)"
    );//引數化SQL
  6. sqlComm.Parameters.Add("@p0", SqlDbType.Int);  
  7. sqlComm.Parameters.Add("@p1", SqlDbType.NVarChar);  
  8. sqlComm.Parameters.Add("@p2", SqlDbType.VarChar);  
  9. sqlComm.CommandType = CommandType.Text;  
  10. sqlComm.Connection = sqlConn;  
  11. sqlConn.Open();  
  12. try
  13. {  
  14.     //迴圈插入100萬條資料,每次插入10萬條,插入10次。
  15.     for (int multiply = 0; multiply < 10; multiply++)  
  16.     {  
  17.         for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++)  
  18.         {  
  19.             sqlComm.Parameters["@p0"].Value = count;  
  20.             sqlComm.Parameters["@p1"].Value = string.Format("User-{0}", count * multiply);  
  21.             sqlComm.Parameters["@p2"].Value = string.Format("Pwd-{0}", count * multiply);  
  22.             sw.Start();  
  23.             sqlComm.ExecuteNonQuery();  
  24.             sw.Stop();  
  25.         }  
  26.         //每插入10萬條資料後,顯示此次插入所用時間
  27.         Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds));  
  28.     }  
  29. }  
  30. catch (Exception ex)  
  31. {  
  32.     throw ex;  
  33. }  
  34. finally
  35. {  
  36.     sqlConn.Close();  
  37. }  
  38. Console.ReadLine();  

耗時圖如下:

使用Insert語句插入10萬資料的耗時圖

由於執行過慢,才插入10萬條就耗時72390 milliseconds,所以我就手動強行停止了。

下面看一下使用Bulk插入的情況:

bulk方法主要思想是通過在客戶端把資料都快取在Table中,然後利用SqlBulkCopy一次性把Table中的資料插入到資料庫

程式碼如下:

  1. publicstaticvoid BulkToDB(DataTable dt)  
  2. {  
  3.     SqlConnection sqlConn = new SqlConnection(  
  4.         ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);  
  5.     SqlBulkCopy bulkCopy = new SqlBulkCopy(sqlConn);  
  6.     bulkCopy.DestinationTableName = "BulkTestTable";  
  7.     bulkCopy.BatchSize = dt.Rows.Count;  
  8.     try
  9.     {  
  10.         sqlConn.Open();  
  11.     if (dt != null && dt.Rows.Count != 0)  
  12.         bulkCopy.WriteToServer(dt);  
  13.     }  
  14.     catch (Exception ex)  
  15.     {  
  16.         throw ex;  
  17.     }  
  18.     finally
  19.     {  
  20.         sqlConn.Close();  
  21.         if (bulkCopy != null)  
  22.             bulkCopy.Close();  
  23.     }  
  24. }  
  25. publicstatic DataTable GetTableSchema()  
  26. {  
  27.     DataTable dt = new DataTable();  
  28.     dt.Columns.AddRange(new DataColumn[]{  
  29.         new DataColumn("Id",typeof(int)),  
  30.         new DataColumn("UserName",typeof(string)),  
  31.     new DataColumn("Pwd",typeof(string))});  
  32.     return dt;  
  33. }  
  34. staticvoid Main(string[] args)  
  35. {  
  36.     Stopwatch sw = new Stopwatch();  
  37.     for (int multiply = 0; multiply < 10; multiply++)  
  38.     {  
  39.         DataTable dt = Bulk.GetTableSchema();  
  40.         for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++)  
  41.         {  
  42.             DataRow r = dt.NewRow();  
  43.             r[0] = count;  
  44.             r[1] = string.Format("User-{0}", count * multiply);  
  45.             r[2] = string.Format("Pwd-{0}", count * multiply);  
  46.             dt.Rows.Add(r);  
  47.         }  
  48.         sw.Start();  
  49.         Bulk.BulkToDB(dt);  
  50.         sw.Stop();  
  51.         Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds));  
  52.     }  
  53.     Console.ReadLine();  
  54. }  

耗時圖如下:

使用Bulk插入100萬資料的耗時圖

可見,使用Bulk後,效率和效能明顯上升。使用Insert插入10萬資料耗時72390,而現在使用Bulk插入100萬資料才耗時17583。

最後再看看使用表值引數的效率,會另你大為驚訝的。

表值引數是SQL Server 2008新特性,簡稱TVPs。對於表值引數不熟悉的朋友,可以參考最新的book online,我也會另外寫一篇關於表值引數的部落格,不過此次不對錶值引數的概念做過多的介紹。言歸正傳,看程式碼:

  1. publicstaticvoid TableValuedToDB(DataTable dt)  
  2. {  
  3.     SqlConnection sqlConn = new SqlConnection(  
  4.       ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);  
  5.     conststring TSqlStatement =  
  6.      "insert into BulkTestTable (Id,UserName,Pwd)" +  
  7.      " SELECT nc.Id, nc.UserName,nc.Pwd" +  
  8.      " FROM @NewBulkTestTvp AS nc";  
  9.     SqlCommand cmd = new SqlCommand(TSqlStatement, sqlConn);  
  10.     SqlParameter catParam = cmd.Parameters.AddWithValue("@NewBulkTestTvp", dt);  
  11.     catParam.SqlDbType = SqlDbType.Structured;  
  12.     //表值引數的名字叫BulkUdt,在上面的建立測試環境的SQL中有。
  13.     catParam.TypeName = "dbo.BulkUdt";  
  14.     try
  15.     {  
  16.       sqlConn.Open();  
  17.       if (dt != null && dt.Rows.Count != 0)  
  18.       {  
  19.           cmd.ExecuteNonQuery();  
  20.       }  
  21.     }  
  22.     catch (Exception ex)  
  23.     {  
  24.       throw ex;  
  25.     }  
  26.     finally
  27.     {  
  28.       sqlConn.Close();  
  29.     }  
  30. }  
  31. publicstatic DataTable GetTableSchema()  
  32. {  
  33.     DataTable dt = new DataTable();  
  34.     dt.Columns.AddRange(new DataColumn[]{  
  35.       new DataColumn("Id",typeof(int)),  
  36.       new DataColumn("UserName",typeof(string)),  
  37.       new DataColumn("Pwd",typeof(string))});  
  38.     return dt;  
  39. }  
  40. staticvoid Main(string[] args)  
  41. {  
  42.     Stopwatch sw = new Stopwatch();  
  43.     for (int multiply = 0; multiply < 10; multiply++)  
  44.     {  
  45.         DataTable dt = TableValued.GetTableSchema();  
  46.         for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++)  
  47.         {          
  48.             DataRow r = dt.NewRow();  
  49.             r[0] = count;  
  50.             r[1] = string.Format("User-{0}", count * multiply);  
  51.             r[2] = string.Format("Pwd-{0}", count * multiply);  
  52.             dt.Rows.Add(r);  
  53.         }  
  54.         sw.Start();  
  55.         TableValued.TableValuedToDB(dt);  
  56.         sw.Stop();  
  57.         Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds));  
  58.     }  
  59.     Console.ReadLine();  
  60. }  

耗時圖如下:

使用表值引數插入100萬資料的耗時圖

比Bulk還快5秒。