1. 程式人生 > >c#中往mysql裡批量插入上萬條資料

c#中往mysql裡批量插入上萬條資料

前面文章說採集了很多資料,要存入mysql資料庫。之所以選擇mysql資料庫,原因只不過是mysql很方便安裝應用範圍也廣,又小,也挺好用。呵呵

我仍然在csdn詢問,http://bbs.csdn.net/topics/390357952?page=1#post-393577221,綜合採納了各位大俠的意見,反正最後我在本機上插入1--5萬條資料的時候,好像沒感覺到佔用什麼時間。

我使用了mysql的批量資料格式,

比如
INSERT INTO TABLES (LABLE1,LABLE2,LABLE3,...) 
VALUES(NUM11,NUM12,NUM13,...), 
(NUM21,NUM22,NUM23,...),
....
(NUMn1,NUMn2,NUMn3,..);

我在前文中敘述的,每個賬戶的每個採集點就會生成幾百個資料,這幾百個資料我組合成上述一條語句,20多個賬戶多個採集點我一共生成上述語句300--800多條,每條的資料項300-500個,所以每次插入的資料共計10000--50000條。

我把每條insert語句都儲存在一個SQLStringList之中,又 在網上找點資料,採用了事務處理方式,本來我的事務方式是所有sql語句放在一個事務裡,但有熱心朋友告知“每當執行1000條DBCommand就提交(Commit)事務,然後再次開啟事務,這樣比較好。把過多的命令放在一個事務中,一旦超過實體記憶體分配限制,你的程式會變得很慢很慢。”

所以我後來修改了一下,每500條語句重啟一次事務。c#程式碼如下:

/// <summary>
        /// 執行多條SQL語句,實現資料庫事務。
        /// </summary>mysql資料庫
        /// <param name="SQLStringList">多條SQL語句</param>
        public static void ExecuteSqlTran(List<string> SQLStringList)
        {
            using (MySqlConnection conn = new MySqlConnection(MySqlHelper.ConnStr))
            {
                conn.Open();
                MySqlCommand cmd = new MySqlCommand();
                cmd.Connection = conn;
                MySqlTransaction tx = conn.BeginTransaction();
                cmd.Transaction = tx;
                try
                {
                    for (int n = 0; n < SQLStringList.Count; n++)
                    {
                        string strsql = SQLStringList[n].ToString();
                        if (strsql.Trim().Length > 1)
                        {
                            cmd.CommandText = strsql;
                            cmd.ExecuteNonQuery();
                        }
                       //後來加上的
                       if (n > 0 && (n % 500 == 0 || n == SQLStringList.Count - 1))
                        {
                            tx.Commit();
                            tx = conn.BeginTransaction();
                        }
                    }
                    //tx.Commit();//原來一次性提交
                }
                catch (System.Data.SqlClient.SqlException E)
                {
                    tx.Rollback();
                    throw new Exception(E.Message);
                }
            }
        }