前些日子，公司要求做一個數據導入程序，要求將Excel數據，大批量的導入到數據庫中，盡量少的訪問數據庫，高性能的對數據庫進行存儲。於是在網上進行查找，發現了一個比較好的解決方案，就是采用SqlBulkCopy來處理存儲數據。SqlBulkCopy存儲大批量的數據非常的高效，就像這個方法的名字一樣，可以將內存中的數據表直接的一次性的存儲到數據庫中，而不需要一次一次的向數據庫Insert數據。初次實驗，百萬級別的數據表，也只需幾秒時間內就可以完全的存入數據庫中，其速度，比傳統的Insert方法不止快很多倍。下面，我將用代碼，介紹其用法。

/// <summary>
/// LaborReport Data Import To Database
 
/// </summary>
/// <param name="laborReport">laborReport data table</param>
/// <param name="laborReportDetail">laborReportDetail data table</param>
public void LaborReportInsert(DataTable laborReport, DataTable laborReportDetail)
{
using (SqlConnection conn = new SqlConnection(this
 
.Connection))
{
if (conn.State != ConnectionState.Open)
conn.Open(); 
using (SqlBulkCopy sqlBCLaborReport = new SqlBulkCopy(conn))
{
sqlBCLaborReport.BatchSize = laborReport.Rows.Count;
sqlBCLaborReport.BulkCopyTimeout = 60;
sqlBCLaborReport.DestinationTableName = "LaborReport";
sqlBCLaborReport.WriteToServer(laborReport);
}
 
using (SqlBulkCopy sqlBCLaborReportDetails = new SqlBulkCopy(conn))
{
sqlBCLaborReportDetails.BatchSize = laborReportDetail.Rows.Count;
sqlBCLaborReportDetails.BulkCopyTimeout = 60;
sqlBCLaborReportDetails.DestinationTableName = "LaborReportDetails";
sqlBCLaborReportDetails.WriteToServer(laborReportDetail);
}
if (conn.State != ConnectionState.Closed)
conn.Close();
}
}

上邊的示例代碼，將內存中的兩個DataTable 數據一次性的存入數據庫中，只要內存中的數據表格的結構跟數據庫中的表格結構一樣，就可以了，如果數據庫中包含自增列字段，我們可以不需要在內存表中定義，當數據保存到數據庫中的時候，自增列會自動生成數據的。

//數據批量導入sqlserver,創建實例 
System.Data.SqlClient.SqlBulkCopy?sqlbulk?=?new?System.Data.SqlClient.SqlBulkCopy(System.Configuration.ConfigurationManager.ConnectionStrings["connstr"].ToString());
//?目標數據庫表 名 
sqlbulk.DestinationTableName?=?"tablename"; 
//?數據集字段索 引與數據庫字段索引映射 
sqlbulk.ColumnMappings.Add(0,?5); 
sqlbulk.ColumnMappings.Add(1,?4); 
sqlbulk.ColumnMappings.Add(2,?7); 
sqlbulk.ColumnMappings.Add(3,?1); 
sqlbulk.ColumnMappings.Add(4,?10); 
sqlbulk.ColumnMappings.Add(5,?6); 
sqlbulk.ColumnMappings.Add(6,?2); 
//?導入 
sqlbulk.WriteToServer(sqldb); 
sqlbulk.Close(); 

        public void SqlBulkCopyDomo()
        {
            Dal.DalSql dal = new Dal.DalSql();

            //獲取源數據
            string gongPanSql = @" select a,b,c,d  from T where 條件過濾";
            DataTable dtGongPan = dal.QueryByFind(gongPanSql).Tables[0];//sql幫助類
            
            //數據復制
            using (SqlConnection conn = new SqlConnection(SqlConnString))
            {
                // Open the connection.
                conn.Open();

                using (SqlBulkCopy bulkCopy = new SqlBulkCopy(conn))
                {
                    // 設置目標表名稱
                    bulkCopy.DestinationTableName = "HouseBase";
                    bulkCopy.BulkCopyTimeout = 3600;//超時時間設置
                    bulkCopy.BatchSize = 1000;//分批提交記錄數，可不設

                    // 列名映射        bulkCopy.ColumnMappings.Add("源數據列", "目標表對應列名稱");                                            
                    bulkCopy.ColumnMappings.Add("a", "HouseCode");
                    bulkCopy.ColumnMappings.Add("b", "CommName");
                    bulkCopy.ColumnMappings.Add("c", "FenQiName");
                    bulkCopy.ColumnMappings.Add("d", "Seat");
                   //復制數據
                    bulkCopy.WriteToServer(dtGongPan);
                }

            }
        }

【大數據處理】高效能，大數據量存儲方案SqlBulkCopy