C#批量Insert效能優化方案
阿新 • • 發佈：2019-02-17
近期遇到一個多個sql檔案載入到SQL Server的效能問題。由於某種歷史原因，每個sql檔案中，都是insert into語句。這些語句執行起來，效能可優化空間不大，除非重新改寫整個sql語句的生成機制。
在研究此問題的過程中，瞭解到C#本身提供了SqlBulkCopy類，可實現批量資料匯入，頗有啟發。直接引用董斌的一篇檔案，可以參考。
原文連結：http://blog.csdn.net/cokeboxs/article/details/51123779
原文內容如下：
在SQL Server 中插入一條資料使用Insert語句，但是如果想要批量插入一堆資料的話，迴圈使用Insert不僅效率低，而且會導致SQL一系統效能問題。下面介紹SQL Server支援的兩種批量資料插入方法：Bulk和表值引數(Table-Valued Parameters)。
- --Create DataBase
- create database BulkTestDB;
- go
- use BulkTestDB;
- go
- --Create Table
- Create table BulkTestTable(
- Id int primary key,
- UserName nvarchar(32),
- Pwd varchar(16))
- go
- --Create Table Valued
- CREATE TYPE BulkUdt AS TABLE
- (Id int,
-
UserName nvarchar(32),
- Pwd varchar(16))
下面我們使用最簡單的Insert語句來插入100萬條資料，程式碼如下：
- Stopwatch sw = new Stopwatch();
- SqlConnection sqlConn = new SqlConnection(
- ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);//連線資料庫
- SqlCommand sqlComm = new SqlCommand();
-
sqlComm.CommandText = string.Format("insert into BulkTestTable(Id,UserName,Pwd)values(@p0,@p1,@p2)");//引數化SQL
- sqlComm.Parameters.Add("@p0", SqlDbType.Int);
- sqlComm.Parameters.Add("@p1", SqlDbType.NVarChar);
- sqlComm.Parameters.Add("@p2", SqlDbType.VarChar);
- sqlComm.CommandType = CommandType.Text;
- sqlComm.Connection = sqlConn;
- sqlConn.Open();
- try
- {
- //迴圈插入100萬條資料，每次插入10萬條，插入10次。
- for (int multiply = 0; multiply < 10; multiply++)
- {
- for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++)
- {
- sqlComm.Parameters["@p0"].Value = count;
- sqlComm.Parameters["@p1"].Value = string.Format("User-{0}", count * multiply);
- sqlComm.Parameters["@p2"].Value = string.Format("Pwd-{0}", count * multiply);
- sw.Start();
- sqlComm.ExecuteNonQuery();
- sw.Stop();
- }
- //每插入10萬條資料後，顯示此次插入所用時間
- Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds));
- }
- }
- catch (Exception ex)
- {
- throw ex;
- }
- finally
- {
- sqlConn.Close();
- }
- Console.ReadLine();
耗時圖如下：
由於執行過慢，才插入10萬條就耗時72390 milliseconds，所以我就手動強行停止了。
下面看一下使用Bulk插入的情況：
bulk方法主要思想是通過在客戶端把資料都快取在Table中，然後利用SqlBulkCopy一次性把Table中的資料插入到資料庫
程式碼如下：
- publicstaticvoid BulkToDB(DataTable dt)
- {
- SqlConnection sqlConn = new SqlConnection(
- ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);
- SqlBulkCopy bulkCopy = new SqlBulkCopy(sqlConn);
- bulkCopy.DestinationTableName = "BulkTestTable";
- bulkCopy.BatchSize = dt.Rows.Count;
- try
- {
- sqlConn.Open();
- if (dt != null && dt.Rows.Count != 0)
- bulkCopy.WriteToServer(dt);
- }
- catch (Exception ex)
- {
- throw ex;
- }
- finally
- {
- sqlConn.Close();
- if (bulkCopy != null)
- bulkCopy.Close();
- }
- }
- publicstatic DataTable GetTableSchema()
- {
- DataTable dt = new DataTable();
- dt.Columns.AddRange(new DataColumn[]{
- new DataColumn("Id",typeof(int)),
- new DataColumn("UserName",typeof(string)),
- new DataColumn("Pwd",typeof(string))});
- return dt;
- }
- staticvoid Main(string[] args)
- {
- Stopwatch sw = new Stopwatch();
- for (int multiply = 0; multiply < 10; multiply++)
- {
- DataTable dt = Bulk.GetTableSchema();
- for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++)
- {
- DataRow r = dt.NewRow();
- r[0] = count;
- r[1] = string.Format("User-{0}", count * multiply);
- r[2] = string.Format("Pwd-{0}", count * multiply);
- dt.Rows.Add(r);
- }
- sw.Start();
- Bulk.BulkToDB(dt);
- sw.Stop();
- Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds));
- }
- Console.ReadLine();
- }
耗時圖如下：
可見，使用Bulk後，效率和效能明顯上升。使用Insert插入10萬資料耗時72390，而現在使用Bulk插入100萬資料才耗時17583。
最後再看看使用表值引數的效率，會另你大為驚訝的。
表值引數是SQL Server 2008新特性，簡稱TVPs。對於表值引數不熟悉的朋友，可以參考最新的book online，我也會另外寫一篇關於表值引數的部落格，不過此次不對錶值引數的概念做過多的介紹。言歸正傳，看程式碼：
- publicstaticvoid TableValuedToDB(DataTable dt)
- {
- SqlConnection sqlConn = new SqlConnection(
- ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);
- conststring TSqlStatement =
- "insert into BulkTestTable (Id,UserName,Pwd)" +
- " SELECT nc.Id, nc.UserName,nc.Pwd" +
- " FROM @NewBulkTestTvp AS nc";
- SqlCommand cmd = new SqlCommand(TSqlStatement, sqlConn);
- SqlParameter catParam = cmd.Parameters.AddWithValue("@NewBulkTestTvp", dt);
- catParam.SqlDbType = SqlDbType.Structured;
- //表值引數的名字叫BulkUdt，在上面的建立測試環境的SQL中有。
- catParam.TypeName = "dbo.BulkUdt";
- try
- {
- sqlConn.Open();
- if (dt != null && dt.Rows.Count != 0)
- {
- cmd.ExecuteNonQuery();
- }
- }
- catch (Exception ex)
- {
- throw ex;
- }
- finally
- {
- sqlConn.Close();
- }
- }
- publicstatic DataTable GetTableSchema()
- {
- DataTable dt = new DataTable();
- dt.Columns.AddRange(new DataColumn[]{
- new DataColumn("Id",