​最近在工作中，涉及到一個數據遷移功能，從一個txt文字檔案匯入到mysql功能。

資料遷移，在網際網路企業可以說經常碰到，而且涉及到千萬級、億級的資料量是很常見的。大資料量遷移，這裡面就涉及到一個問題：高效能的插入資料。

今天我們就來談談MySQL程式設計客棧怎麼高效能插入千萬級的資料。

我們一起對比以下幾種實現方法：

前期準備

訂單測試表

CREATE TABLE `trade` (
  `id` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',`trade_no` VARCHAR(50) NULL DEFAULT NULL COLLATE 'utf8_unicode_ci',UNIQUE INDEX `id` (`id`),INDEX `trade_no` (`trade_no`)
)
COMMENT='訂單'
COLLATE='utf8_unicode_ci'
ENGINE=InnoDB;

測試環境

作業系統：Window 10 專業版

CPU：Inter(R) Core(TM) i7-8650U CPU @1.90GHZ 2.11 GHZ

記憶體：16G

MySQL版本：5.7.26

實現方法：

1、單條資料插入

這是最普通的方式，通過迴圈一條一條的匯入資料，這個方式的缺點很明顯就是每一次都需要連線一次資料庫。

實現程式碼：

//開始時間
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
    conn.Open();
​
    //插入10萬資料
    for (var i = 0; i < 100000; i++)
    {
        //插入
        var sql = string.Format("insert into trade(id,trade_no) values('{0}','{1}');",Guid.NewGuid().ToString(),"trade_" + (i + 1)
            );
        var sqlComm = new MySqlCommand();
        sqlComm.Connection = conn;
        sqlComm.CommandText = sql;
        sqlComm.ExecuteNonQuery();
        sqlComm.Dispose();
    }
​
    conn.Close();
}
​
//完成時間
var endTime = DateTime.Now;
​
//耗時
var spanTime = endTime - startTime;
Console.WriteLine("迴圈插入方式耗時：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");

10萬條測試耗時：

​

上面的例子，我們是批量匯入10萬條資料，需要連線10萬次資料庫。我們把SQL語句改為1000條拼接為1條，這樣就能減少資料庫連線，實現程式碼修改如下：

//開始時間
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
    conn.Open();
​
    //插入10萬資料
    var sql = new StringBuilder();
    for (var i = 0; i < 100000; i++)
    {
        //插入
        sql.AppendForma
 
程式設計客棧t("insert into trade(id,"trade_" + (i + 1)
            );
​
        //合併插入
        if (i % 1000 == 999)
        {
            var sqlComm = new MySqlCommand();
            sqlComm.Connection = conn;
            sqlComm.CommandText = sql.ToString();
            sqlComm.ExecuteNonQuery();
            sqlComm.Dispose();
            sql.Clear();
        }
    }
​
    conn.Close();
}
​
//完成時間
var endTime = DateTime.Now;
​
//耗時
var spanTime = endTime - startTime;
Console.WriteLine("迴圈插入方式耗時：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");

10萬條測試耗時：

​

通過優化後，原本需要10萬次連線資料庫，只需連線100次。從最終執行效果看，由於資料庫是在同一臺伺服器，不涉及網路傳輸，效能提升不明顯。

2、合併資料插入

在MySQL同樣也支援，通過合併資料來實現批量資料匯入。實現程式碼：

//開始時間
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
    conn.Open();
​
    //插入10萬資料
    var sql = new StringBuilder();
    for (var i = 0; i < 100000; i++)
    {
        if (i % 1000 == 0)
        {
            sql.Append("insert into trade(id,trade_no) values");
        }
​
        //拼接
        sql.AppendFormat("('{0}','{1}'),","trade_" + (i + 1));
​
        //一次性插入1000條
        if (i % 1000 == 999)
        {
            var sqlComm = new MySqlCommand();
            sqlComm.Connection = conn;
            sqlComm.CommandText = sql.ToString().TrimEnd(',');
            sqlComm.ExecuteNonQuery();
            sqlComm.Dispose();
            sql.Clear();
        }
    }
        
​
    cwww.cppcns.comonn.Close();
}
​
//完成時間
var endTime = DateTime.Now;
​
//耗時
var spanTime = endTime - startTime;
Console.WriteLine("合併資料插入方式耗時：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");

10萬條測試耗時：

​

通過這種方式插入操作明顯能夠提高程式的插入效率。雖然第一種方法通過優化後，同樣的可以減少資料庫連線次數，但第二種方法：合併後日志量(MySQL的binlog和innodb的事務讓日誌)減少了，降低日誌刷盤的資料量和頻率，從而提高效率。同時也能減少SQL語句解析的次數，減少網路傳輸的IO。

3、MySqlBulkLoader插入

MySQLBulkLoader也稱為LOAD DATA INFILE，它的原理是從檔案讀取資料。所以我們需要將我們的資料集儲存到檔案，然後再從檔案裡面讀取。

實現程式碼：

//開始時間
var startTime = DateTime.Now;
using (var conn = new MySqlConnection(connsql))
{
    conn.Open();
    var table = new DataTable();
    table.Columns.Add("id",typeof(string));
    table.Columns.Add("trade_no",typeof(string));
​
    //生成10萬資料
    for (var i = 0;sYXoestj i < 100000; i++)
    {
        if (i % 500000 == 0)
        {
            table.Rows.Clear();
        }
​
        //記錄
        var row = table.NewRow();
        row[0] = Guid.NewGuid().ToString();
        row[1] = "trade_" + (i + 1);
        table.Rows.Add(row);
​
        //50萬條一批次插入
        if (i % 500000 != 499999 && i < (100000 - 1))
        {
            continue;
        }
        Console.WriteLine("開始插入:" + i);
​
        //資料轉換為csv格式
        var tradeCsv = DataTableToCsv(table);
        var tradeFilePath = System.AppDomain.CurrentDomain.BaseDirectory + "trade.csv"程式設計客棧;
        File.WriteAllText(tradeFilePath,tradeCsv);
​
        #region 儲存至資料庫
        var bulkCopy = new MySqlBulkLoader(conn)
        {
            FieldTerminator = ",FieldQuotationCharacter = '"',EscapeCharacter = '"',LineTerminator = "\r\n",FileName = tradeFilePath,NumberOfLinesToSkip = 0,TableName = "trade"
        };
​
        bulkCopy.Columns.AddRange(table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList());
        bulkCopy.Load();
        #endregion
    }
​
    conn.Close();
}
​
//完成時間
var endTime = DateTime.Now;
​
//耗時
var spanTime = endTime - startTime;
Console.WriteLine("MySqlBulk方式耗時：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");

10萬條測試耗時：

​

注意：MySQL資料庫配置需開啟：允許檔案匯入。配置如下：

secure_file_priv=

效能測試對比

針對上面三種方法，分別測試10萬、20萬、100萬、1000萬條資料記錄，最終效能入如下：

​

最後

通過測試資料看，隨著資料量的增大，MySqlBulkLoader的方式表現依舊良好，其他方式效能下降比較明顯。MySqlBulkLoader的方式完全可以滿足我們的需求。

以上就是.Net Core匯入千萬級資料至Mysql資料庫的詳細內容，更多關於.Net Core匯入千萬級資料至Mysql的資料請關注我們其它相關文章！